Kurzdefinition: Performance Evaluation ist der strukturierte Prozess, mit dem Hersteller von In-vitro-Diagnostika (IVD) die Leistungsfähigkeit und den klinischen Nutzen ihres Produkts belegen. Im EU-Recht ist die Performance-Evaluierung ein zentrales Element der technischen Dokumentation und bildet die Grundlage für die Konformitätsbewertung nach der In-vitro Diagnostics Regulation (IVDR).
Einordnung: Performance vs. klinische Bewertung
Bei Medizinprodukten im Sinne der MDR 2017/745 steht die klinische Bewertung im Vordergrund. Für IVDs gilt dagegen ein spezifischer Ansatz: Die Performance Evaluation bündelt mehrere Nachweisarten, die zusammen zeigen sollen, dass ein IVD die beabsichtigte Zweckbestimmung erfüllt und im klinischen Kontext einen sinnvollen Beitrag leistet.
In der Praxis wird Performance Evaluation häufig mit „klinischer Evidenz“ gleichgesetzt, sie geht jedoch über reine klinische Daten hinaus. Sie umfasst auch analytische Leistungsdaten und den Nachweis, dass der gemessene Marker oder Parameter tatsächlich mit einem klinisch relevanten Zustand zusammenhängt (wissenschaftliche Validität).
Bausteine der Performance Evaluation
Die Performance Evaluation besteht typischerweise aus drei Säulen. Erstens die wissenschaftliche Validität: Der Zusammenhang zwischen dem Analyten (z.B. Biomarker) und einem klinischen Zustand muss plausibel und belegt sein. Zweitens die analytische Performance: Hier geht es um Präzision, Richtigkeit, Nachweisgrenzen, Interferenzen, Robustheit und weitere Leistungskennzahlen. Drittens die klinische Performance: Es wird gezeigt, wie gut der Test im klinischen Einsatz funktioniert, z.B. Sensitivität, Spezifität, positive und negative prädiktive Werte in der vorgesehenen Population.
Je nach Zweckbestimmung können zusätzliche Aspekte relevant sein, etwa Nutzerfreundlichkeit in dezentralen Settings (Point-of-Care), Stabilität der Proben unter Transportbedingungen oder die Performance über verschiedene Geräte- und Reagenzchargen hinweg. Auch die statistische Methodik zur Schätzung von Konfidenzintervallen und zur Auswahl von Referenzmethoden spielt eine Rolle.
Performance Evaluation Plan und Performance Evaluation Report
Hersteller erstellen üblicherweise einen Performance Evaluation Plan als strategisches Dokument, das Datenquellen, Akzeptanzkriterien, geplante Studien und Literaturrecherchen festlegt. Darauf aufbauend wird ein Performance Evaluation Report erstellt, der die Evidenz zusammenführt, bewertet und begründet, warum die Anforderungen erfüllt sind.
Für die Zusammenarbeit mit externen Partnern (z.B. Laboren, Studienzentren oder CROs) ist ein klarer Plan wichtig, weil er Anforderungen an Proben, Einschlusskriterien, Referenzmethoden, statistische Auswertung, Qualitätskontrollen und Dokumentationspflichten definiert. Das reduziert Nacharbeiten und unterstützt eine konsistente technische Dokumentation.
Datengrundlagen: Studien, Literatur und Real-World-Daten
Die Evidenz kann aus prospektiven oder retrospektiven Performance-Studien stammen, aus validierten Biobanken, aus bereits vorhandenen klinischen Datensätzen oder aus systematischen Literaturauswertungen. Entscheidend ist, dass die Daten zur Zweckbestimmung passen und dass Bias-Risiken transparent bewertet werden, z.B. Spektrumbias, Verifikationsbias oder Selektionsbias.
Real-World-Daten können ergänzend genutzt werden, erfordern aber besondere Sorgfalt bei Datenqualität, Definitionen und Confounding-Kontrolle. Für bestimmte IVD-Kategorien, insbesondere mit höherem Risiko, werden regulatorisch häufig höhere Anforderungen an Studiendesign, Nachvollziehbarkeit und Überwachung gestellt.
Rolle der Benannten Stelle und Praxisfallen
Bei vielen IVDs ist eine Benannte Stelle in die Konormitätsbewertung eingebunden. Die Performance Evaluation ist dann ein zentraler Prüfpunkt: Unklare Zweckbestimmung, unzureichend begründete Akzeptanzkriterien oder inkonsistente Datenquellen führen häufig zu Rückfragen. Typische Praxisfallen sind außerdem fehlende Transparenz zur Referenzmethode, mangelnde Repräsentativität der Studienpopulation oder nicht ausreichend dokumentierte Probenhandhabung.
Aus Qualitäts- und Inspektionssicht ist eine lückenlose Dokumentation wichtig, inklusive Versionierung, Nachweis der Datenintegrität und Traceability zwischen Rohdaten, Auswertungen und Bericht. Grundsätze aus Good Clinical Practice (ICH E6(R3)) und Qualitätsmanagementsystemen sind hier hilfreiche Leitplanken, auch wenn IVD-Performance-Studien je nach Setup in unterschiedliche rechtliche Rahmen fallen können.
Ein häufiger Schwachpunkt in Dossiers ist die unklare Begründung, warum die ausgewählten Datensätze die intendierte Population und den vorgesehenen Einsatz abdecken. Hilfreich ist eine strukturierte Evidenz-Matrix, die Datenquellen den Anforderungen (wissenschaftliche Validität, analytische Performance, klinische Performance) zuordnet und verbleibende Unsicherheiten explizit adressiert.
Regulatorischer Rahmen in der EU (IVDR) und Schnittstellen
Die Performance Evaluation ist eng mit Risikomanagement, Kennzeichnung und Post-Market Surveillance verbunden. Ergebnisse aus der Marktüberwachung und aus Post-Market Performance Follow-up können in die Aktualisierung des Performance Evaluation Report einfließen und damit kontinuierlich die Evidenzbasis stärken.
Bei kombinierten Produkten oder Tests, die in klinischen Studien eingesetzt werden, entstehen Schnittstellen zu klinischen Prüfungen. Hier können Anforderungen aus der EU-Verordnung 536/2014 relevant werden, etwa wenn ein IVD als Begleitdiagnostikum in einer Arzneimittelstudie verwendet wird und Studiendaten in regulatorische Entscheidungen einfließen. Für die Planung von Performance-Studien sind außerdem Ethik, Datenschutz, Proben-Logistik und ein klarer Monitoring- und Datenmanagementprozess zentral.
Operativ bedeutet das: Proben müssen rückverfolgbar sein, Abweichungen in der Probenhandhabung müssen dokumentiert werden, und Auswertungen sollten vorab spezifiziert sein. Für multizentrische Studien sind harmonisierte SOPs, Training und ein robustes Datenmanagement entscheidend, damit die Performance-Kennzahlen nicht durch vermeidbare Prozessvariabilität verwässert werden.
FAQ
Was ist der Unterschied zwischen analytischer und klinischer Performance?
Analytische Performance beschreibt, wie zuverlässig der Test den Analyten misst (z.B. Präzision, Nachweisgrenze). Klinische Performance beschreibt, wie gut das Testergebnis im klinischen Kontext eine Diagnose oder Entscheidung unterstützt (z.B. Sensitivität, Spezifität).
Muss jede Performance Evaluation eine eigene Studie enthalten?
Nicht zwingend. Je nach Zweckbestimmung, Risikoklasse und vorhandener Evidenz können Literaturdaten und bestehende Datensätze ausreichen. Häufig sind jedoch ergänzende Performance-Studien nötig, um Datenlücken zu schließen oder die Repräsentativität zu sichern.
Wie oft wird der Performance Evaluation Report aktualisiert?
Er wird typischerweise im Rahmen des Lebenszyklus gepflegt, z.B. bei wesentlichen Änderungen, neuen Sicherheits- oder Performance-Erkenntnissen und gemäß den Anforderungen der Post-Market Surveillance und des Post-Market Performance Follow-up.
Regulatorische Referenzen (Auswahl): Verordnung (EU) 2017/746 (IVDR) zu In-vitro-Diagnostika; Verordnung (EU) 2017/745 (MDR); ICH E6(R3) Good Clinical Practice.