Eine Post-hoc-Analyse ist eine statistische Auswertung klinischer Studiendaten, die nach Abschluss der Studie oder nach Einsicht in die Ergebnisse durchgeführt wird, ohne dass die Fragestellung oder Methodik vorab im Studienprotokoll oder Statistical Analysis Plan (SAP) festgelegt wurde. Der Begriff leitet sich vom lateinischen „post hoc“ (danach) ab. Post-hoc-Analysen umfassen unter anderem Subgruppenanalysen, explorative Endpunktauswertungen und nachträgliche Vergleiche zwischen Behandlungsgruppen. Sie sind in der klinischen Forschung weit verbreitet, unterliegen aber erheblichen methodischen und regulatorischen Einschränkungen, da sie durch multiple Testprobleme und Selektionsbias geprägt sind.
Abgrenzung: konfirmatorisch vs. exploratorisch
Der grundlegende Unterschied zwischen konfirmatorischen und explorativen Analysen ist für das Verständnis von Post-hoc-Auswertungen zentral:
- Konfirmatorische Analysen sind vorab geplant, im SAP festgelegt und dienen dem formalen Nachweis einer Hypothese mit kontrolliertem Typ-I-Fehler. Ihre Ergebnisse gelten als beweiskräftig für Zulassungs- und Erstattungsentscheidungen.
- Explorative/Post-hoc-Analysen sind nicht vorab geplant oder werden nach Einsicht in die Daten formuliert. Sie generieren Hypothesen für zukünftige Studien, liefern aber keinen konfirmatorischen Beweis. Ihr Typ-I-Fehler ist unkontrolliert, da bei vielen parallelen Tests falsch positive Befunde zwangsläufig auftreten.
Die Grenze zwischen explorativen und Post-hoc-Analysen ist fließend. Eine vorab geplante, aber nicht primäre Subgruppenanalyse gilt als exploratorisch, nicht als konfirmatorisch. Eine vollständig unvorhersehene Auswertung nach Dateneinsicht ist eine klassische Post-hoc-Analyse mit den stärksten Einschränkungen bezüglich der Beweiskraft.
Multiple Testing und statistische Fehlerinflation
Das größte methodische Problem von Post-hoc-Analysen ist die Inflation des Typ-I-Fehlers durch multiples Testen. Werden viele Subgruppen oder Endpunkte parallel getestet, steigt die Wahrscheinlichkeit eines zufällig signifikanten Ergebnisses erheblich an. Bei 20 unabhängigen Tests auf dem Niveau 0,05 ist ein falsch positives Ergebnis statistisch nahezu unvermeidlich. Korrekturen wie die Bonferroni-Methode oder die Benjamini-Hochberg-Prozedur können die Fehlerrate kontrollieren, werden bei Post-hoc-Analysen aber selten angewendet. Das Hauptproblem bleibt: Ohne vorab festgelegte Analysepläne ist die Anzahl der tatsächlich durchgeführten Tests oft nicht transparent dokumentiert, was eine nachträgliche Multiplizitätskorrektur unmöglich macht. Regulatoren und Reviewer können daher nicht beurteilen, wie viele Tests durchgeführt wurden und wie groß das tatsächliche Risiko eines zufällig signifikanten Ergebnisses ist – ein gravierendes Problem für die Bewertung der Evidenzqualität.
Regulatorische Bewertung und Akzeptanz
Die EMA, das BfArM und der G-BA bewerten Post-hoc-Analysen grundsätzlich als hypothesengenerierend, nicht als hypothesenbestätigend. Im Rahmen der frühen Nutzenbewertung nach § 35a SGB V werden Post-hoc-Subgruppenanalysen regelmäßig kritisch hinterfragt und häufig nicht als belastbarer Wirksamkeitsnachweis für bestimmte Patientensubgruppen anerkannt. Die ICH-E9-Guideline fordert, dass Subgruppenanalysen vorab geplant werden und dass ihre Ergebnisse als exploratorisch gekennzeichnet sind. Das EMA-Guideline on the Investigation of Subgroups (2019) präzisiert die Anforderungen weiter: Subgruppenanalysen müssen biologisch plausibel, vorab definiert und durch eine adjustierte Multiplizitätskontrolle abgesichert sein, um regulatorische Relevanz zu erlangen. Subgruppenanalysen, die nur auf einen einzigen Post-hoc-Befund gestützt werden, ohne Replikation in unabhängigen Datensätzen oder biologische Plausibilität, werden regelmäßig nicht als Grundlage für Indikationserweiterungen oder differenzierte Erstattungsentscheidungen anerkannt.
Bedeutung für klinische Studien
Trotz ihrer methodischen Einschränkungen sind Post-hoc-Analysen in der klinischen Forschung unverzichtbar für die Generierung neuer Hypothesen, die Charakterisierung von Subpopulationen und die Planung von Folgestudien. Sie können wichtige klinische Signale liefern, die in der primären Analyse nicht erkennbar waren. Entscheidend ist die transparente Kennzeichnung: Post-hoc-Analysen müssen klar als solche ausgewiesen werden, um eine Fehldeutung als konfirmatorische Evidenz zu verhindern. Full-Service-CROs wie mediconomics unterstützen Sponsoren bei der präzisen Planung von Subgruppenanalysen im SAP, der methodisch korrekten Durchführung explorativer Analysen, der transparenten Kennzeichnung von Post-hoc-Befunden und der regulatorisch konformen Berichterstattung im Clinical Study Report. Ein klar strukturierter Analyseplan, der konfirmatorische und explorative Ebenen trennt, ist dabei das effektivste Mittel, um regulatorische Diskussionen über die Beweiskraft von Subgruppenanalysen zu minimieren.
Häufig gestellte Fragen (FAQ)
Kann eine Post-hoc-Analyse als Grundlage für eine Zulassung dienen?
In der Regel nein. Regulatoren akzeptieren Post-hoc-Analysen nicht als primären Wirksamkeitsnachweis. Ausnahmsweise kann eine Post-hoc-Analyse unterstützend herangezogen werden, wenn sie biologisch plausibel ist, konsistent über mehrere Studien repliziert wurde und durch eine prospektive Studie bestätigt wird. Als alleinige Zulassungsgrundlage ist sie nicht akzeptiert.
Was ist der Unterschied zwischen einer Post-hoc-Analyse und einer Sensitivitätsanalyse?
Eine Sensitivitätsanalyse ist vorab im SAP geplant und prüft die Robustheit der primären Analyse unter alternativen Annahmen (z. B. andere Imputationsmethoden). Eine Post-hoc-Analyse ist nicht vorab geplant und formuliert neue Fragen nach Dateneinsicht. Sensitivitätsanalysen gelten als Teil der konfirmatorischen Strategie; Post-hoc-Analysen sind rein exploratorisch.
Müssen Post-hoc-Analysen im Clinical Study Report berichtet werden?
Ja. ICH E3 (Structure and Content of Clinical Study Reports) fordert, dass alle durchgeführten Analysen im Clinical Study Report dokumentiert werden, unabhängig davon, ob sie vorab geplant waren. Post-hoc-Analysen müssen als solche gekennzeichnet sein, und die explorative Natur der Ergebnisse muss im Bericht unmissverständlich kommuniziert werden.
Regulatorische Referenzen
- ICH E9 – Statistical Principles for Clinical Trials (1998): Planung von Subgruppenanalysen, explorative vs. konfirmatorische Analysen
- ICH E9(R1) – Addendum on Estimands (2019): Konsistenz von Analysestrategien mit Estimanden
- EMA Guideline on the Investigation of Subgroups in Confirmatory Clinical Trials (EMA/CHMP/539146/2013, rev. 2019)
- ICH E3 – Structure and Content of Clinical Study Reports (1995): Dokumentationspflichten für alle Analysen
- G-BA-Verfahrensordnung § 35a SGB V: Bewertung von Subgruppenanalysen in der frühen Nutzenbewertung