Eine Usability-Studie für Medizinprodukte ist eine strukturierte Untersuchung, in der repräsentative Anwender ein Produkt oder seine Benutzerschnittstelle unter realitätsnahen Bedingungen benutzen, um Bedienprobleme und sicherheitsrelevante Anwendungsfehler aufzudecken oder die Beherrschbarkeit der Bedienung nachzuweisen. Sie ist keine klinische Prüfung im Sinne der Artikel 62 bis 80 der Verordnung (EU) 2017/745, sondern ein Nachweisinstrument der Auslegungsvalidierung, das den Anforderungen des Anhangs I an Ergonomie und Vermeidung von Anwendungsfehlern dient. Methodisch unterscheidet man formative Untersuchungen während der Entwicklung von der summativen Untersuchung am Ende der Entwicklung. Die Ergebnisse werden in der Gebrauchstauglichkeitsakte zusammengeführt und mit dem Risikomanagement verknüpft.
Formative Untersuchungen im Entwicklungsverlauf
Formative Untersuchungen dienen dazu, Stärken und Schwächen der Benutzerschnittstelle und unerwartete Anwendungsfehler zu erkunden. Die Leitlinie der US-amerikanischen Behörde FDA zu Human Factors und Usability Engineering beschreibt sie als Instrument, das die Gestaltung während der Entwicklung informiert, bislang unerkannte anwendungsbezogene Gefährdungen und neue kritische Aufgaben aufdecken kann und Hinweise auf die Wirksamkeit von Risikominderungsmaßnahmen, den Schulungsbedarf, die Kennzeichnung und das Design der späteren Validierungsstudie liefert.
Typische Methoden sind der kognitive Durchgang mit lautem Denken, Beobachtung, Interviews und die Simulationsprüfung, bei der Anwender realistische Nutzungsszenarien unter simulierten Bedingungen durchspielen, etwa mit nicht energetisiertem Gerät oder einem Phantom anstelle eines Patienten. Formative Untersuchungen dürfen mit Modellen und Prototypen arbeiten, und in begrenztem Umfang können auch Mitarbeitende des Herstellers teilnehmen. Ihre Ergebnisse sind jedoch nicht ohne Weiteres auf die endgültige Benutzerschnittstelle übertragbar und ersetzen die summative Untersuchung nicht.
Summative Untersuchung und Stichprobenlogik
Die summative Untersuchung, in der FDA-Terminologie Human-Factors-Validierungsprüfung, findet am Ende der Entwicklung statt und soll Anwendungsfehler aufdecken, die zu schwerwiegenden Schäden bei Patienten oder Anwendern führen würden oder könnten. Sie ist Teil der Auslegungsvalidierung und bewertet zugleich die Wirksamkeit der Risikominderungsmaßnahmen. Anforderungen sind: Die Teilnehmenden repräsentieren die vorgesehenen Anwender, alle kritischen Aufgaben werden durchgeführt, die Benutzerschnittstelle entspricht dem endgültigen Entwurf, die Prüfbedingungen sind hinreichend realistisch, und es treten keine durch Gestaltungsänderungen vermeidbaren Anwendungsfehler mit Potenzial für schwerwiegende Schäden auf. Für alle kritischen Aufgaben sind Leistungsdaten und subjektive Einschätzungen zu erheben, sodass eine Ursachenanalyse möglich ist.
Zur Stichprobengröße empfiehlt die FDA-Leitlinie grundsätzlich mindestens 15 Teilnehmende, bei mehreren unterschiedlichen Anwenderpopulationen mindestens 15 je Population; für bestimmte Produktarten kann die empfohlene Mindestzahl höher liegen. Anwendergruppen gelten als unterschiedlich, wenn ihre Merkmale die Interaktion voraussichtlich beeinflussen oder wenn sie verschiedene Aufgaben ausführen, etwa Fachpersonal gegenüber Laien, unterschiedliche Altersgruppen oder Personen mit Installations-, Wartungs- und Servicetätigkeiten. Zu berücksichtigende Merkmale sind Alter, Bildung, Lesefähigkeit, sensorische und körperliche Einschränkungen sowie Fachrichtung; richtet sich das Produkt an Patienten mit funktionellen Einschränkungen, ist deren Spektrum abzubilden. Mitarbeitende des Herstellers sollen an der Validierung in der Regel nicht teilnehmen.
Abgrenzung zur klinischen Prüfung und zur Risikoanalyse
Die Usability-Studie zielt auf die Interaktion zwischen Anwender und Benutzerschnittstelle, nicht auf klinische Wirksamkeit oder klinischen Nutzen. Sie liefert daher keine klinischen Endpunkte und ersetzt keine klinische Prüfung; umgekehrt kann eine klinische Prüfung Bedienprobleme nur beiläufig erfassen, weil sie weder alle kritischen Aufgaben systematisch provoziert noch die Stichprobe nach Anwendergruppen bildet. In der Praxis werden beide verknüpft, indem Bedienbeobachtungen aus der klinischen Prüfung als zusätzliche Datenquelle in die Gebrauchstauglichkeitsakte eingehen.
Von der Studie zu unterscheiden ist die nutzungsbezogene Risikoanalyse, die ihr vorausgeht: Erst sie identifiziert gefährdungsbezogene Nutzungsszenarien und kritische Aufgaben und legt damit fest, was die summative Untersuchung prüfen muss. Eine Studie ohne diese Vorarbeit prüft beliebige Aufgaben und trägt den Nachweis nicht. Ebenfalls abzugrenzen ist die Simulationsumgebung von der realen Anwendung: Sie erlaubt die gezielte Provokation von Fehlern ohne Patientengefährdung, muss aber in Aufgabenfolge, Zeitdruck, Ablenkung und Umgebungsbedingungen hinreichend realitätsnah sein. Die Kategorien der aufgedeckten Fehler behandelt der Eintrag Anwendungsfehler und abnormaler Gebrauch.
Bedeutung für klinische Studien
Usability-Ergebnisse beeinflussen klinische Prüfungen unmittelbar. Sie bestimmen, welche Schulung Prüfstellen benötigen, wie ausführlich Bedienschritte im Prüfplan beschrieben werden müssen und welche Bedienfehler als erfassungspflichtige Ereignisse zu definieren sind. Werden bekannte kritische Aufgaben vor Studienbeginn nicht adressiert, erzeugen Bedienfehler während der Prüfung Störgrößen, die die Auswertung klinischer Endpunkte belasten und Sicherheitssignale schwer interpretierbar machen.
Umgekehrt liefert die klinische Prüfung Rückmeldungen über die Bedienung unter Versorgungsbedingungen, die in die Aktualisierung der Gebrauchstauglichkeitsakte und in die Nachbeobachtung nach dem Inverkehrbringen einfließen. Full-Service-CROs wie Mediconomics unterstützen Hersteller dabei, Untersuchungsprotokolle für formative und summative Untersuchungen aufzusetzen, Anwendergruppen und kritische Aufgaben festzulegen und die Erkenntnisse mit Prüfplänen, Schulungskonzepten und Sicherheitsberichterstattung zu verzahnen.
Häufig gestellte Fragen (FAQ)
Wie viele Teilnehmende braucht eine summative Untersuchung?
Die FDA-Leitlinie empfiehlt grundsätzlich mindestens 15 Teilnehmende und bei mehreren unterschiedlichen Anwenderpopulationen mindestens 15 je Population. Für einzelne Produktarten kann die empfohlene Mindestzahl höher sein.
Ist eine Usability-Studie eine klinische Prüfung?
Nein. Sie prüft die Interaktion mit der Benutzerschnittstelle und dient der Auslegungsvalidierung. Klinische Endpunkte und der Nachweis klinischen Nutzens sind Gegenstand der klinischen Bewertung und gegebenenfalls einer klinischen Prüfung nach der Verordnung (EU) 2017/745.
Welche Aufgaben müssen geprüft werden?
Alle kritischen Aufgaben, also solche, deren fehlerhafte oder unterlassene Ausführung zu schwerwiegenden Schäden führen würde oder könnte. Sie werden aus der nutzungsbezogenen Risikoanalyse abgeleitet und im Untersuchungsplan begründet.
Regulatorische Referenzen
- Verordnung (EU) 2017/745, Anhang I Kapitel I Ziffern 1 bis 5 – Sicherheit, Ergonomie und Vermeidung von Anwendungsfehlern.
- Verordnung (EU) 2017/745, Anhang I Kapitel III – Informationen in Kennzeichnung und Gebrauchsanweisung als Teil der Benutzerschnittstelle.
- FDA, Applying Human Factors and Usability Engineering to Medical Devices, Guidance for Industry and FDA Staff, 2016 – formative und summative Untersuchung, Teilnehmerzahlen.
- IEC 62366-1 – Prozess zur Analyse, Spezifikation, Entwicklung und Bewertung der Gebrauchstauglichkeit, einschließlich Gebrauchstauglichkeitsakte.
- Verordnung (EU) 2017/745, Anhang II Abschnitt 6 – Produktverifizierung und -validierung in der technischen Dokumentation.
