blog.berndweiss.net

Ein häufig mit Forschungsreviews (speziell mit Meta-Analysen) in Zusammenhang gebrachtes Problem betrifft bestimmte Formen der Selektivität in der Publikationspraxis. Es ist bekannt, dass einerseits von Seiten der Autoren die Neigung besteht, insignifikante Resultate eher nicht zu publizieren (sondern in der Schublade verschwinden zu lassen: file-drawer-Problematik) und andererseits diese Neigung von Seiten der Herausgeber und Lektoren in der Weise ‘gefördert’ wird, dass bevorzugt hypothesenbestätigende und signifikante Studienbefunde herausgegeben werden. Dieses Phänomen wird auch als publication bias bezeichnet .

In der Wissenswerkstatt bin ich zufällig auf einen etwas älteren Artikel (“Insuffizienzen der Wissenschaft: Wenn medizinische Metastudien unscharfes Wissen produzieren – Agnotologie II“) vom August diesen Jahres gestoßen, dem ich zu großen Teilen zustimmen kann, der jedoch gerade in den Schlusspassagen aus meiner Sicht einige Schwächen aufweist. Ich spare mir an dieser Stelle, den Inhalt des Textes wiederzugeben, sondern möchte nachfolgend auf zwei Absätze des Schlussteils (“Die Verführung durch Erfolg und Meßbarkeit: Publikations-Bias”) eingehen.

Marc schreibt, dass systematische Reviews (was ein treffender Begriff als “Metastudien” ist) häufig einem publication bias ausgesetzt sind. Auch wenn einleitend steht, dass dies häufig Meta-Analysen betrifft (= der statistische Teil eines systematischen Reviews), so steht doch jede Art von qualitativem wie quantitativem Forschungsreview vor diesem Problem. Ob dies auch für die in den “Insuffizienzen der Wissenschaft” kritisierte medizinische Studie gilt, weiß ich nicht. Für meine Argumentation ist das auch nicht wichtig, denn nach meinem Verständnis wird in dem nachfolgenden Zitat eine allgemeine Kritik an “Metastudien” formuliert, der ich in ihrem Anspruch auf Allgemeingültigkeit widersprechen[1] möchte:

“Man sollte also auch bei angeblich durch Metastudien gewonnenen Erkenntnissen vorsichtig sein. Denn ganz offenbar sind es die Selektionskriterien, die bestimmen, welche Studie unter welcher Gewichtung berücksichtigt wird, die zu den skizzierten Effekten führen. Und im Ergebnis haben wir keine Zunahme von Wissen, sondern von Nichtwissen. Metastudien können, oh Wunder, auch ein Instrument der Agnotologie sein – der Kunst, Nichtwissen herbeizuführen. Das jedenfalls ist das Ergebnis, wenn ‘medizinische Studien kollidieren’”.

Eine Konsequenz von Publikationsverzerrungen soll die “Zunahme von Nichtwissen” sein. Zunächst einmal ist mir nicht klar, was “Nichtwissen”ist. Der Wikipedia-Artikel über “Agnotologie” lehrt mich, dass es um “Unwissen” geht; im englischsprachigen Teil der Wikipedia wird auf “culturally-induced ignorance or doubt” verwiesen. Mir persönlich würde “Un-Wissen” oder “Gegen-Wissen” wohl am besten gefallen, denn solch ein “Wissen” steht im Gegensatz zur “Tradition der Aufklärung” und verwirrt die Wissenden. Und ob Nichtwissen/Un-Wissen/Gegen-Wissen “das Ergebnis [ist, B.W.], wenn ‘medizinische Studien kollidieren’, also eine heterogene Bundlage besteht, sei auch dahingestellt. Denn immerhin wissen wir, dass es unterschiedliche/widersprüchliche Ergebnisse zu ähnlichen Fragestellungen gibt und die weitere Forschung kann sich damit befassen, diese aufzuklären.

Was nun den publication bias betrifft, so ist (“oh Wunder” ) das Problem nicht ganz unbekannt. Es gibt eine Reihe von Verfahren, mit denen sich das Ausmaß des publication bias bestimmen lässt (nur eine Auswahl und stichwortartig: funnel plot, trim and fill, verschiedene Regressionsansätze); inzwischen wurden auch erste Ansätze veröffentlicht, die dafür “korrigieren” können (mehrere Artikel von John Copas). Rothstein et al. (2005) haben mit “Publication Bias in Meta-Analysis: Prevention, Assessment and Adjustments” eine Monographie zu dem Thema herausgebracht. (Und nur nebenbei bemerkt: Es gibt natürlich noch mehr als nur publication bias, sonder etwa auch einen language bias.)

Weiter unten im Text finden sich die folgenden beiden Sätze:

“Denn, wie Dr. Barrett feststellt, allzu oft werden Äpfel mit Birnen verglichen. Und der Fokus auf veröffentlichte Studien dürfte meist zu einer dezenten Verzerrung hin zu positiven Schlußfolgerungen führen.”

Wenn ich das richtig verstehe, dann werden hier zwei Gegenargumente vermischt, nämlich das in der einschlägigen Forschung bekannte Äpfel-und-Birnen-Problem (apples and oranges) sowie der publication bias. Glass geht in seiner Rückschau auf 25 Jahre Meta-Analyse (“Meta-Analysis at 25“) auch auf den Vergleich von Äpfeln und Birnen ein. Ich möchte an dieser Stelle nur anmerken, dass niemals zwei empirische Studien komplett identisch sein werden (“no two ’studies’ are the same”) und das zumindest ein gewisses Ausmaß (über das “wie viel” lässt sich sicher diskutieren) an Heterogenität die Generalisierbarkeit von Studienergebnissen ungemein fördert.

[1] Natürlich stimme ich der grundsätzlichen Warnung zu, dass man jeder empirische Studie mit einer gewissen Skepsis begegnen sollte.

Nachtrag: Mir fällt gerade noch ein, dass sich das Phänomen publication bias natürlich in die allgemeinere Problematik von missing data stellen lässt. Publikationsverzerrungen sind nichts anderes als fehlende Daten und systematisch fehlende Daten führen zu verzerrten Ergebnissen und beinträchtigen damit die Repräsentativität der Studien.

Nachtrag 2: Teilweise basieren meine Ausführungen auf: Wagner, Michael, und Bernd Weiß, 2006: Meta-Analyse als Methode der Sozialforschung. . S. 479–504 in: Andreas Diekmann (Hg.): Methoden der Sozialforschung. Sonderheft 44 der Kölner Zeitschrift für Soziologie und Sozialpsychologie. Wiesbaden: VS-Verlag.

Nachtrag 3: In der Wissenswerkstatt findet inzwischen ein kleiner Gedankenaustausch statt.