Studienziele

Vor allem bei kleineren Studien ist die Chance für eine Veröffentlichung grösser, wenn sie ein signifikantes Resultat in einem «erwünschten» Sinn zeigt. Das kann dazu beitragen, dass in einer Zusammenfassung aller publizierten Studien, einer systematischen Übersicht, ein positives Ergebnis vorgetäuscht wird. Unter dem Begriff «Publication bias» ist es eines der meistdiskutierten Probleme von Metaanalysen. In der vorliegende Studie wurde untersucht, wie ein «Publication bias» Resultate und Schlussfolgerungen in Metaanalysen beeinflusst.

Methoden

Angewendet wurde eine «Trim-and-fill»-Methode, die auf dem graphischen Test des umgekehrten Trichters («Funnel plot») beruht. Es wurden die Anzahl von Studien errechnet, welche zur erwarteten symmetrischen Verteilung fehlen, und deren Resultate rechnerisch simuliert. Danach wurde die Metaanalyse nochmals durchgeführt und somit korrigiert. Für dieses Prozedere wurden alle Übersichten aus der «Cochrane Database of Systematic Reviews» berücksichtigt, die eine Metaanalyse von mindestens zehn Studien präsentierten, die zwei mögliche Endpunkte aufwiesen.

Ergebnisse

Von 397 «Cochrane Reviews» mit einer Metaanalyse erfüllten 48 die Einschlusskriterien. Bei knapp der Hälfte (23 Arbeiten) fanden sich Hinweise für einen «Publication bias»; darunter waren acht Arbeiten, bei denen laut Berechnung mindestens drei Studien fehlten, was als kritisches Niveau bezeichnet wurde. Bei allen 23 Metaanalysen mit einem «Publication bias» wurde das Ergebnis durch die Korrekturmethode verändert. Eine bedeutsame Veränderung gegenüber der publizierten Schlussfolgerung ergab sich in vier Fällen: Dreimal verlor ein Ergebnis seine statistische Signifikanz, einmal wurde ein nicht-signifikantes Ergebnis signifikant negativ. An der Aussage einer Metaanalyse änderte sich durch die mathematische Korrektur um so weniger, je mehr grosse Studien in der primären Auswertung enthalten waren.

Schlussfolgerungen

In fast der Hälfte der untersuchten Metaanalysen lässt sich ein «Publication bias» vermuten, was in seltenen Fällen sogar zu falschen Schlussfolgerungen führen kann. Autorinnen und Autoren von systematischen Übersichten sollten jeweils prüfen, ob ihr Resultat durch eine unvollständige Studienauswahl verzerrt wird.

Die Trichtergrafik («Funnel Plot») ist ein einfaches Streudiagramm, wobei die Resultate klinischer Studien gegen die Studiengrösse aufgetragen werden. Kleine Studien werden im unteren Bereich der Grafik aufgrund von Zufallsschwankungen relativ breit streuen, während grössere Studien im oberen Bereich näher zusammenliegen. Es sollte somit das Bild eines Trichters entstehen, der auf dem Kopf steht (siehe auch infomed-screen Mai/Juni 2000). Wenn kleinere, «negative» Studien fehlen, entsteht ein asymmetrisches Bild (Trichter mit Delle). Dies kann nicht nur aufgrund von Publikationsbias (selektive Publikation von «positiven» Studien), sondern auch durch die allgemein schlechtere Qualität der kleineren Studien (je schlechter eine Studie, desto grösser im allgemeinen der Behandlungseffekt) oder durch Zufall zustandekommen. In der vorliegenden Arbeit wurde der «Funnel Plot» von «Cochrane Reviews» künstlich spiegelgleich gemacht, indem zusätzliche Studien simuliert (erfunden) wurden. Die Autoren folgern, dass in mehr als der Hälfte der Reviews Studien «fehlten» und somit ein Publikationsbias vorlag. Dies ist aus 2 Gründen Unsinn: Erstens sind «fehlende» Studien mit dieser Methode in 35 bis 45% rein durch Zufall zu erwarten1 und zweitens wurde die methodologische Qualität der Studien ausser acht gelassen.

Matthias Egger

1 Egger M, Smith GD, Altman D. Systematic reviews in Health Care. Meta-Analysis in Context. BMJ Books, 2nd edition. London 2000 (September)

Standpunkte und Meinungen

• Es gibt zu diesem Artikel keine Leserkommentare.