Was ist Peer-Review?

Was genau ist Peer-Review? Bild über AJ Cann/Flickr.


.

VonAndré Spicer,Stadt, Universität LondonundThomas Roulet,Universität von Oxford


Peer Review ist einer der Goldstandards der Wissenschaft. Es ist ein Prozess, bei dem Wissenschaftler („Peers“) die Qualität der Arbeit anderer Wissenschaftler bewerten. Auf diese Weise wollen sie sicherstellen, dass die Arbeit rigoros und kohärent ist, frühere Forschungen nutzt und das, was wir bereits wussten, ergänzt.

Die meisten wissenschaftlichen Zeitschriften, Konferenzen und Stipendienanträge haben eine Art Peer-Review-System. In den meisten Fällen handelt es sich um „double blind“ Peer Review. Dies bedeutet, dass die Evaluatoren den/die Autor(en) nicht kennen und der/die Autor(en) die Identität der Evaluatoren nicht kennen. Die Absicht hinter diesem System besteht darin, sicherzustellen, dass die Bewertung nicht verzerrt ist.

Je prestigeträchtiger die Zeitschrift, die Konferenz oder das Stipendium ist, desto anspruchsvoller wird der Begutachtungsprozess und desto wahrscheinlicher ist die Ablehnung. Dieses Prestige ist der Grund dafür, dass diese Papiere häufiger gelesen und zitiert werden.

Der Ablauf im Detail




Der Peer-Review-Prozess für Zeitschriften umfasst mindestens drei Phasen.

1. Die Phase der Schreibtischbewertung

Wenn ein Beitrag bei einer Zeitschrift eingereicht wird, erhält er eine erste Bewertung durch den Chefredakteur oder einen Mitherausgeber mit entsprechender Expertise.

In diesem Stadium kann jeder das Papier „ablehnen“, dh das Papier ablehnen, ohne es an blinde Gutachter zu senden. Im Allgemeinen werden Arbeiten abgelehnt, wenn die Arbeit nicht in den Umfang der Zeitschrift passt oder ein grundlegender Fehler vorliegt, der sie für eine Veröffentlichung ungeeignet macht.


In diesem Fall könnten die ablehnenden Redakteure einen Brief schreiben, in dem sie ihre Bedenken zusammenfassen. Einige Zeitschriften, wie zBritisches medizinisches Journal, Schreibtisch lehnt bis zu zwei Drittel oder mehr der Papiere ab.

2. Die Blindbewertung

Wenn die Redaktion beurteilt, dass keine grundlegenden Mängel vorliegen, schickt sie es zur Überprüfung an blinde Schiedsrichter. Die Zahl der Gutachterinnen und Gutachter hängt vom Fachgebiet ab: Im Finanzwesen kann es nur einen Gutachter geben, während Zeitschriften in anderen sozialwissenschaftlichen Bereichen bis zu vier Gutachterinnen und Gutachter bitten können. Diese Gutachter werden vom Herausgeber aufgrund ihres Fachwissens und ihrer fehlenden Verbindung zu den Autoren ausgewählt.

Die Gutachter entscheiden, ob sie die Arbeit ablehnen, sie so akzeptieren, wie sie ist (was selten vorkommt) oder um eine Überarbeitung der Arbeit bitten. Dies bedeutet, dass der Autor die Arbeit entsprechend den Bedenken der Gutachter ändern muss.


In der Regel befassen sich die Reviews mit der Validität und Strenge der empirischen Methode sowie der Bedeutung und Originalität der Ergebnisse (der sogenannte „Beitrag“ zur vorhandenen Literatur). Der Redakteur sammelt diese Kommentare, gewichtet sie, trifft eine Entscheidung und verfasst einen Brief, in dem er die Anliegen der Gutachter und ihre eigenen Anliegen zusammenfasst.

Es kann daher vorkommen, dass der Herausgeber trotz Anfeindungen seitens der Gutachterinnen und Gutachter dem Papier eine nachträgliche Überarbeitung anbietet. In den besten Zeitschriften der Sozialwissenschaften werden 10 bis 20 % der Arbeiten nach der ersten Runde „revise-and-resubmit“ angeboten.

3. Die Überarbeitungen – wenn Sie Glück haben

Wenn die Arbeit nach dieser ersten Begutachtungsrunde nicht abgelehnt wurde, wird sie zur Überarbeitung an den/die Autor(en) zurückgeschickt. Der Prozess wird so oft wie nötig wiederholt, bis der Herausgeber einen Konsens über die Annahme oder Ablehnung des Papiers erreicht hat. In manchen Fällen kann dies mehrere Jahre dauern.

Letztlich werden weniger als 10 Prozent der eingereichten Arbeiten in die besten Zeitschriften der Sozialwissenschaften aufgenommen. Die renommierte ZeitschriftNaturveröffentlicht rund 7 Prozent der eingereichten Beiträge.

Stärken und Schwächen des Peer-Review-Prozesses

Der Peer-Review-Prozess gilt als Goldstandard in der Wissenschaft, da er die Strenge, Neuheit und Konsistenz der akademischen Ergebnisse gewährleistet. Typischerweise werden durch Überprüfungsrunden fehlerhafte Ideen beseitigt und gute Ideen gestärkt und verbessert. Peer-Reviewing stellt auch sicher, dass die Wissenschaft relativ unabhängig ist.

Da wissenschaftliche Ideen von anderen Wissenschaftlern beurteilt werden, sind wissenschaftliche Standards der entscheidende Maßstab. Wenn andere Personen außerhalb des Feldes an der Bewertung von Ideen beteiligt waren, könnten andere Kriterien wie politischer oder wirtschaftlicher Gewinn für die Auswahl der Ideen verwendet werden. Peer-Reviewing wird auch als ein entscheidendes Mittel angesehen, um Persönlichkeiten und Voreingenommenheit aus dem Prozess der Wissensbewertung zu entfernen.

Trotz der unbestrittenen Stärken ist der Peer-Review-Prozess, wie wir ihn kennen, gewesenkritisiert. Es beinhaltet eine Reihe von sozialen Interaktionen, die zu Verzerrungen führen können – zum Beispiel können Autoren von Gutachtern identifiziert werden, wenn sie im selben Bereich tätig sind, und Ablehnungen am Schreibtisch sind nicht blind.

Es könnte auch eher inkrementelle (Ergänzung zu früherer Forschung) als innovative (neue) Forschung begünstigen. Schließlich sind Gutachter menschlich und können Fehler machen, Elemente missverstehen oder Fehler übersehen.

Gibt es Alternativen?

Verteidiger des Peer-Review-Systems sagen, obwohl es Mängel gibt, müssen wir noch ein besseres System zur Bewertung der Forschung finden. Im akademischen Begutachtungssystem wurden jedoch eine Reihe von Neuerungen eingeführt, um seine Objektivität und Effizienz zu verbessern.

Einige neue Open-Access-Zeitschriften (wie zPLUS EINS) veröffentlichen Arbeiten mit sehr geringer Bewertung (sie überprüfen, ob die Arbeit methodisch nicht gravierend ist). Der Fokus liegt dort auf dem Peer-Review-System nach der Veröffentlichung: Alle Leser können das Paper kommentieren und kritisieren.

Einige Zeitschriften wie zNatur, gemachtTeil des Überprüfungsprozesses öffentlich(„offene“ Begutachtung), das ein hybrides System bietet, in dem Peer-Review eine Rolle als primärer Gatekeeper spielt, aber die öffentliche Gemeinschaft von Wissenschaftlern parallel (oder später in einigen anderen Zeitschriften) den Wert der Forschung beurteilt.

Eine andere Idee ist, die Arbeit jedes Mal, wenn sie überarbeitet wird, von einer Reihe von Gutachtern bewerten zu lassen. In diesem Fall können Autoren wählen, ob sie mehr Zeit in eine Überarbeitung investieren möchten, um eine bessere Bewertung zu erhalten und ihre Arbeit öffentlich anerkennen zu lassen.

André Spicer, Professor für Organisationsverhalten, Cass Business School,Stadt, Universität LondonundThomas Roulet, Novak Druce-Forschungsstipendiat,Universität von Oxford

Dieser Artikel wurde ursprünglich veröffentlicht aufDie Unterhaltung. Lies dasoriginaler Artikel.

Fazit: Was ist Peer-Review? Was es eigentlich bedeutet und wie es funktioniert.