Die Gewichtung klinischer Daten spielt eine entscheidende Rolle, wenn es darum geht, die Sicherheit und Leistung von Medizinprodukten nachzuweisen. Doch was genau bedeutet "Gewichtung" und wie beeinflusst sie die klinische Bewertung? Während die Medical Device Regulation (Verordnung (EU) 2017/745 (MDR)) die Beurteilung klinischer Daten (Appraisal) als verpflichtenden Prozess erwähnt, bleibt ihre genaue Anwendung oft unklar. Dieser Artikel beleuchtet speziell die Bedeutung der Gewichtung im Rahmen des Appraisals, gibt praxisnahe Einblicke in ihre Methodik und erklärt, warum ein kritischer Blick auf Qualität und Relevanz unerlässlich ist, um belastbare Schlüsse aus klinischen Studien zu ziehen.

Der Begriff der Gewichtung

Die Gewichtung ist der letzte Schritt in der Beurteilung von klinischen Daten, bevor diese der klinischen Bewertung zugeführt werden können: Nachdem zunächst die methodische Qualität und wissenschaftliche Gültigkeit einer publizierten klinischen Studie bewertet wurde, muss im nächsten Schritt die Relevanz der daraus gewonnenen Information für die Bewertung der klinischen Aspekte der Zweckbestimmung bestimmt werden. Schließlich, und darum geht es uns hier konkret, muss dieser Datensatz als Beitrag zur klinischen Bewertung noch gewichtet werden.

Die MDR sieht im Appraisal die Bewertung der Eignung klinischer Daten zum Nachweis der Sicherheit und Leistung des Produkts. Es wird aber lediglich als Pflicht für den Hersteller bei der Verwendung klinischer Daten und für Benannte Stellen, dies zu prüfen, erwähnt und nicht weiter ausgeführt.

Eine Beschreibung des Appraisals findet sich nur in der MEDDEV 2.7/1 rev. 4 (2016). Hiernach müssen die methodische und wissenschaftliche Qualität sowie die Relevanz der Daten geklärt werden, um eine Gewichtung des Datenpakets aus dieser Publikation zu ermöglichen. Leider wird aber auch hier das Gewichten nicht genau erklärt. Es wird lediglich angegeben, dass gut geplanten und überwachten randomisierten kontrollierten Studien, die mit dem Produkt innerhalb der eigenen Zweckbestimmung und mit repräsentativen Patienten und Anwendern durchgeführt wurden, die höchste Gewichtung zuzuweisen sei.

Die Definition der Gewichtung

Man könnte das Gewichten formal so definieren: "Das aus Qualität und Relevanz der Daten resultierende Ausmaß des Beitrags zur klinischen Evaluierung."

Diese Definition ist allerdings ohne wirklichen Mehrwert. Zielführender ist es, unter Gewichtung eine Einstufung dafür zu verstehen, wie belastbar die Evidenz für einen zu bewertenden Aspekt in der klinischen Bewertung ist. Jede Schlussfolgerung zu einem Aspekt muss nicht nur ihre Ableitbarkeit aus den vorhandenen Daten begründen, sondern auch die ausreichende Qualität und Quantität dieser Daten beweisen. Auch die MDCG 2020-6 stellt klar, dass die Evidenzstärke sowohl auf der Qualität als auch auf der Menge der Daten beruht.

Ein Gewichtungsfaktor soll hier ermöglichen, die erforderliche Menge an Daten für eine belastbare Schlussfolgerung zu erkennen. Kritische Argumentationen in der klinischen Bewertung sollten sich auf hoch-gewichtete Publikationen und Daten stützen. Einer gut geplanten, gut durchgeführten und gut berichteten Studie wird man eher vertrauen können. Eine einzige kleine, aber exzellente Studie kann sogar ausreichen, um einen zu bewertenden Aspekt zu bedienen. Wird hingegen ein kritischer Aspekt nur mit niedrig-gewichteten Daten bedient, bedarf er vermutlich noch weiterer Daten aus anderen Arbeiten - und unter Umständen wird eine eigene klinischen Studie notwendig.

Die Relevanz als zweiter Teil der Gewichtung beschreibt, welcher Aspekt mit diesen Daten bewertet werden kann. Eine hohe Relevanz bedeutet, dass der Datensatz aus einer einzigen Publikation für mehrere Schlussfolgerungen verwendet werden kann, und spiegelt meist ein gutes Verständnis der Studien-Autoren für die drängenden Fragen wider. Die Relevanz wird leider geschmälert, wenn die Ergebnisse derselben Studie auf mehrere Publikationen verteilt werden. Werden zusammenhängende Publikationen erkannt, kann der wiederhergestellte gesamte Datensatz als ein einziger gewichtet werden.

Dagegen bedeutet eine niedrige Relevanz, dass der Fokus der Autoren nicht Ihren Fragestellungen entspricht oder nicht auf dem Medizinprodukt selbst liegt. Von solchen Studien sind nur wenig Daten verwendbar, und diese sind erfahrungsgemäß nicht sehr sorgfältig erarbeitet oder beschrieben worden.

Berechnung oder Bewertung?

Ein Gewichtungs-"Faktor" darf nicht zu mathematisch verstanden werden. Für die Bedeutung der Gewichtung schießt es über das Ziel hinaus, mit ausgefeilten Formeln gewichtete Mittelwerte zu errechnen. Solche Formeln sind außerdem willkürlich und daher angreifbar.

Es ist auch nicht notwendig, ein kompliziertes additives Punktesystem zu erstellen. Ein schlechtes Studiendesign kann nicht durch eine längere Nachbeobachtungszeit ausgeglichen werden. Außerdem benötigen verschiedene Publikationsarten verschiedene Appraisal-Kriterien. Die zu bewertende Methodik einer Meta-Analyse ist eine ganz andere als die eines narrativen Reviews oder einer klinischen Studie. Ein starrer Algorithmus würde daher keine vergleichbaren Gewichtungen erzeugen.

Es bieten sich stattdessen zwei leicht nachvollziehbare Anweisungen an, z.B. über Mindestpunkte pro Kriterium, nach denen die Gewichtung eine Publikation als HOCH oder MITTEL einstuft. Ohne Mindestpunkte ist sie automatisch NIEDRIG. Übrigens sieht die MEDDEV auch ein durch Appraisal begründetes ABLEHNEN von Daten vor.

Alternativ können Publikationen auch in Textform gewichtet werden. Das ermöglicht neben einer frei formulierbaren Begründung auch, dass andere entscheidende Auffälligkeiten (positiv wie negativ), die nicht im Kriterienkatalog für Qualität und Relevanz vorgesehen waren, in die Beurteilung mit einfließen können. Allerdings muss auch ein solches Gewichten Anweisungen und Kriterien folgen.

Natürlich müssen auch die Appraisal-Kriterien zu Qualität und Relevanz vorab geplant und begründet werden, insbesondere wenn sie nicht der IMDRF MDCE WG/N56 FINAL:2019 entnommen wurden. Die Auswahl der dazugehörigen Bewertungsstufen muss ebenfalls definiert werden (z.B. die "ausreichende" Länge einer Nachbeobachtungszeit). Auch sollte die Konsequenz des Appraisals beschrieben werden – wozu machen Sie es schließlich?

Was müssen Sie beachten?

Es dürfte klar geworden sein, dass die Gewichtung klinischer Daten ein entscheidender Schritt in der Bewertung von Medizinprodukten ist, der maßgeblich auf der Qualität und Relevanz der Studien basiert. Dabei spielt die Gewichtung eine zentrale Rolle, um die Zuverlässigkeit der Evidenz für die klinische Bewertung festzulegen. Unerlässlich ist, klare Kriterien zur Beurteilung festzulegen und anzuwenden. Da die genaue Methodik aber nirgends vorgeschrieben wird, haben Sie einige Spielräume in der Ausführung.

Dieser Gestaltungsspielraum sollte genutzt werden, um das Appraisal optimal an die spezifischen Anforderungen Ihres Produkts anzupassen.

Gerne sind wir Ihnen dabei behilflich und entwickeln eine Literatursuchstrategie mit Kriterien für Auswahl und Bewertung der Suchtreffer für Sie, maßgeschneidert auf Ihr zu bewertendes Produkt. Wenn gewünscht, führen wir sie auch komplett durch. Melden Sie sich, wenn wir Sie unterstützen können – aber natürlich gerne auch einfach mit Fragen und Feedback zur Gewichtung klinischer Daten.