systematic literature review gliederung

Was ist ein Systematic Literature Review?

Ein Systematic Literature Review ist eine  eigenständige wissenschaftliche Methode , die das Ziel verfolgt, sämtliche relevante Literatur zu einem Thema zu identifizieren und zu bewerten, um daraus Schlussfolgerungen für die untersuchte Fragestellung abzuleiten.  „Systematic reviews are undertaken to clarify the state of existing research and the implications that should be drawn from this.” (Feak & Swales, 2009, S. 3)

Durch einen SLR kann der aktuelle Forschungsstand zu einem Thema aufgezeigt werden, sowie Lücken und bestehender Forschungsbedarf in Hinblick auf eine Forschungsfrage identifiziert werden. Dabei wird ein  methodisch-formales Vorgehen  verfolgt, um Verzerrungen durch eine selektive Literaturauswahl zu reduzieren und die Reliabilität der Literaturauswahl zu steigern (Tranfield, Denyer & Smart, 2003). Besonders ist, dass für die  Recherche selber ein Forschungsziel  definiert wird und vor der Durchführung der Recherche  Ein- und Ausschlusskriterien  festgelegt werden.

Die Suche erfolgt überwiegend in  elektronischen Literaturdatenbanken  (wie z. B. Business Source Complete, Web of Science), aber auch eine Handsuche (Durchsicht von Referenzlisten relevanter Quellen) und die Identifikation noch nicht publizierter Literatur gehören dazu, um einen umfassenden Überblick eines Forschungsthemas zu erhalten.

Ein  SLR-Protokoll  dokumentiert alle Informationen und Schritte eines SLRs, um die Transparenz des Auswahlprozesses und eine Reproduzierbarkeit zu ermöglichen. Mit Hilfe des  PRISMA -Flussdiagramms kann die Literaturselektion entlang der verschiedenen Phasen eines SLRs dargestellt werden.

Bei der  Erstellung der Suchbegriffe  für die Recherche werden idealerweise  Experten  aus derselben Forschungsdisziplin, aus der Praxis und aus Bibliotheken einbezogen. Die Literaturselektion wird in der Regel von zwei oder mehr Personen (Reviewer) unabhängig voneinander vorgenommen. Beide Maßnahmen dienen der Steigerung der Objektivität der Literaturauswahl.

Ein SLR ist dabei keine bloße Zusammenfassung eines Themas, sondern muss darüber hinaus gehen (Briner & Denyer, 2012). So  grenzt er sich  auch von „normalen“ Überblicksarbeiten ab. Die folgende Tabelle zeigt die Unterschiede zwischen einem SLR und einer „normalen“ Literaturüberblicksarbeit auf.

• Folien BSLR-Workshop der Bibliothek Wirtschaft & Management (pdf, 2.88 MB)
• Interview anhören (mp4, 12.35 MB)

Abgrenzung zu "normalen" Reviews

Wozu dienen Systematic Literature Reviews?

• Vermeidung von Redundanzen in der Forschung trotz zunehmender Anzahl an vorhandenen Publikationen
• Identifizierung von Forschungsfeldern, -lücken und -methoden
• Input für Evidence-based Management, bei dem Management-Entscheidungen auf Basis bestmöglicher wissenschaftlicher Methoden und Befunde getroffen werden
• Identifizierung von Anknüpfungspunkten zwischen verschiedenen Forschungsströmungen 

Phasen eines Systematic Literature Reviews

Ein SLR läuft in bestimmten Phasen ab, die in der Literatur teilweise auch unterschiedlich definiert werden (Fink 2014, S. 4; Jesson et al. 2011, Guba 2008, Tranfield et al. 2003). Zum leichteren Verständnis und angepasst auf den Bereich Wirtschaftswissenschaften unterscheiden wir folgende Phasen eines SLRs:

1. Forschungsfragen definieren

Zur Formulierung von eindeutig formulierten und beantwortbaren Forschungsfragen haben Briner & Denyer (2009, S. 347ff) für den Bereich der Wirtschaftswissenschaften das  CIMO-Schema  entwickelt:

C – Context:  Welche Individuen, Beziehungen, institutionelle Rahmenbedingungen und Systeme werden untersucht?

I –  Intervention:  Die Effekte welchen Ereignisses, welcher Aktion oder Aktivität werden untersucht?

M – Mechanisms:  Welche Mechanismen können die Beziehung zwischen Interventionen und Ergebnissen erklären? Unter welchen Bedingungen kommen diese Mechanismen zum Tragen?

O – Outcomes:  Welche Effekte der Intervention gibt es? Wie werden die Ergebnisse gemessen? Was sind beabsichtigte und unbeabsichtigte Effekte?

Die Zielsetzung des Systematic Literature Reviews wird zur Formulierung der Forschungsfragen herangezogen zum Beispiel „Wie leitet man ein Projektteam effektiv?". Da es zahlreiche Interpretationen und Konstrukte für „effektiv", „Führung“ und „Projektteam" gibt, müssen diese Begriffe spezifiziert werden.

Anhand des Schemas lassen sich für dieses Beispiel folgende konkrete Forschungsfragen ableiten:

Unter welchen Bedingungen (C) beeinflusst der Führungsstil (I) die Leistung von Projektteams (O)?

Welche Konstrukte beeinflussen den Einfluss des Führungsstils (I) auf die Projekteamleistung (O)?       

Forschungsfragen müssen dem CIMO-Schema nicht unbedingt folgen, sie sollten aber:

• ...klar, fokussiert, verständlich formuliert und beantwortbar
• … vor Durchführung des SLRs festgelegt worden sein
• …aus allgemeinen und spezifischen Fragen bestehen.

Bereits in diesem Schritt werden auch die Ein- und Ausschlusskriterien festgelegt. Die Auswahl der Kriterien ist gut zu begründen. Dies können u.a. konzeptionelle Faktoren sein wie eine geographische oder zeitliche Einschränkung, übereinstimmende Definitionen von Konstrukten, ebenso wie Qualitätskriterien (Journal Impact Factor > x).

2. Literaturdatenbanken und weitere Quellen auswählen

Die Quellenauswahl wird ausführlich beschrieben und begründet. Ziel ist es, eine Balance zwischen Relevanz der Quellen (inhaltlicher Fit) und Umfang der Quellen zu finden.

Im Bereich Wirtschaftswissenschaften gibt es zahlreiche Literaturdatenbanken, die für einen SLR durchsucht werden können und von der Bibliothek Wirtschaft & Management lizenziert sind. Einige Beispiele sind:

• Business Source Complete
• ProQuest One Business
• Econbiz            

Unser Video  "Richtige Datenbank finden"  erklärt wie Sie mit Hilfe des Datenbank-Informationssystems der Technischen Universität Berlin relevante Datenbanken für Ihr Thema finden können.

Literaturdatenbanken sind eine wichtige Recherchequelle für SLRs, da sie Verzerrungen durch eine individuelle Literaturauswahl minimieren können (Selection Bias) und aufgrund der Datenstruktur Vorteile für eine systematische Suche bieten. Ziel ist es, alle Datenbankeinträge zu einem Thema zu finden und damit den Retrieval Bias gering zu halten ( DBWM-Video zum Retrieval Bias ).

Die Recherche in Literaturdatenbanken zeigen wir Ihnen gern in einer persönlichen Beratung oder Sie führen unseren Online-Selbstlernkurs  "Searching economic databases"   (Schritt 2 und 3) durch.

3. Suchbegriffe festlegen

Nachdem die Literaturdatenbanken und weitere Recherchequellen ausgewählt wurden, werden die Suchbegriffe festgelegt. Hierfür wird das Forschungsthema/ Forschungsfragen in gleichrangige Begriffsblöcke zerlegt. Dieser Ansatz wird Block-Building-Methode genannt (Guba 2008, S. 63). Dabei hilft die sogenannte Begriffsmatrix, die die Themenblöcke und Suchbegriffe entsprechend eines Schemas auflistet. Ziel ist es, möglichst viele verschiedene Synonyme für die Teilbegriffe zu identifizieren. Eine präzise formulierte Forschungsfrage erleichtert die Identifikation der relevanten Suchbegriffe. Zudem unterstützen die Keywords besonders relevanter Artikel die Formulierung der Suchbegriffe.

Eine Begriffsmatrix für das Thema „Der Einfluss des Führungsstils auf die Leistung von Projektteams“ ist hier zu finden: Beispiel .

Identifizierung von Schlag- und Stichwörtern

Bei der Festlegung von Suchbegriffen sind Schlag- und Stichwörter zu unterscheiden, die beide im Folgenden beschrieben werden:

Stichwörter

• kommt im Titel, Abstract und / oder Text vor
• manchmal vom Autor, aber meist nicht intellektuell vergeben
• nicht normiert
• verschiedene Schreibweisen und Formen (Singular / Plural) müssen getrennt gesucht werden

Schlagwörter

• beschreibt den Inhalt
• wird von einem Redaktionsteam vergeben
• in einer genormten Liste (Thesaurus) verzeichnet
• kann verschiedene Stichworte umfassen
• umfasst verschiedene Schreibweisen
• datenbankspezifisch

Schlagwörter sind eine normierte Liste an Wörtern, die von Fachreferenten von manchen Datenbanken vergeben werden. Dieses sogenannte Schlagwortregister (Thesaurus) hilft dabei relevante   Artikel zu finden, da Schlagwörter den Inhalt einer Publikation angeben. Dagegen ist bei der normalen Stichwortsuche eine inhaltliche Übereinstimmung nicht notwendigerweise gegeben, da die Datenbank auch Artikel anzeigt, bei dem ein Wort beispielsweise einmal im Abstract auftaucht, der Artikel sich aber inhaltlich nicht mit dem Thema beschäftigt.

Dennoch sollte stets sowohl mit Schlagwörtern als auch mit Stichwörtern gesucht werden, da zum einen manche Artikel noch keine Schlagwörter zugewiesen bekommen haben, oder aber auch Fehler bei der Zuweisung von Schlagwörtern entstehen können. 

Um Schlagwörter bei der Datenbank Business Source Complete zur Suche hinzuzufügen gibt es oben den Reiter  Thesaurus . Hier kann man in einem neuen Suchfeld Schlagwörter finden und in die Suchanfrage integrieren. In der Suchhistorie sind Schlagwörter mit dem Zusatz DE (descriptor) gekennzeichnet.

Die Datenbank Econbiz der Zentralbibliothek Wirtschaft (ZBW), die auch deutschsprachige Literatur enthält, hat mit dem  Standard-Thesaurus Wirtschaft  ein eigenes Schlagwortregister geschaffen. Hierbei werden Schlagwörter durch ihre Verwendung in der Suchanfrage in der Recherche integriert.

Da die Schlagwortregister Begriffe in Synonyme, Oberbegriffe und Teilaspekte unterteilen, unterstützen sie die Erstellung einer Begriffsmatrix. Hierbei empfiehlt es sich, in der Begriffsmatrix anzugeben, woher die Suchwörter stammen (Thesaurus ZBW, Business Source Complete, etc.).

Suche verfeinern

Durch bestimmte datenbankspezifische Befehle kann eine Suche verfeinert werden, in dem beispielsweise variablen Wortendungen berücksichtigt werden (*), man angibt, in welchem Abstand zwei Wörter sich befinden dürfen, etc. Unsere Übersicht zeigt die wichtigsten Suchebefehle für unsere Top-Datenbanken.

Durchführung der Suche in Literaturdatenbanken

Nachdem die Begriffsmatrix definiert wurde, beginnt die Suche in den Literaturdatenbanken. Zu empfehlen ist, jedes Wort der Begriffsmatrix einzelnen in die Datenbank einzugeben, um einen guten Überblick der Trefferanzahl pro Wort zu erhalten. Am Ende werden dann über die Suchhistorie alle  Wörter eines Begriffsblockes  jeweils mit dem Boolschen Operator  OR  verknüpft und damit die Vereinigungsmenge aller Wörter gebildet. Anschließend werden diese dann untereinander mit dem Boolschen Operator  AND  verknüpft. Hierbei sollte jeder Block einzeln hinzugefügt werden, um zu sehen, wie sehr sich die Treffermenge verringert.

Da die Suchanfrage für jede Datenbank gesondert entwickelt werden muss, wurden Tools wie  LitSonar  entwickelt, um eine systematische Suche über verschiedene Datenbanken hinweg zu ermöglichen. LitSonar wurde von  Prof. Dr. Ali Sunyaev  (Institut für angewandte Informatik und Formale Beschreibungsverfahren) am Karlsruher Institute of Technology entwickelt.

Suche auch in anderen Quellen als Literaturdatenbanken

Neben Literaturdatenbanken sollte auch in anderen Quellen gesucht werden. Gründe hierfür sind nach Fink (2014, S. 27) folgende:

• das Thema ist neu und noch nicht in Schlagwortregistern berücksichtigt
• Suchbegriffe werden in Artikeln unterschiedlich angewendet, weil es keine einheitlichen Definitionen gibt
• einige Studien sich noch im Veröffentlichungsprozess befinden, oder fertig sind, aber nicht veröffentlicht wurden.

Weitere Suchstrategien sind daher Handsuche, bibliographische Analyse, persönliche Kontakte und akademische Netzwerke (Briner & Denyer, S. 349). Bei der Handsuche schaut man sich die Quellenangaben relevanter Artikel an und ergänzt seine Trefferliste entsprechend. Zusätzlich sollte gezielt nach grauer Literatur gesucht werden, dass bedeutet Literatur, die nicht über den Buchhandel vertrieben wird wie Working Papers von Fachgebieten und Konferenzberichte. Durch die Einbeziehung verschiedener Publikationsarten soll der sogenannte Publication Bias ( DBWM Video zum Publication Bias ) gering gehalten werden, also Verzerrungen, die dadurch entstehen, dass nur Artikel aus Journals mit Begutachtungsverfahren herangezogen werden.

Die PRESS-Checkliste kann Sie unterstützen, die Korrektheit Ihrer Suchsyntax zu überprüfen.

4. Treffer aus verschiedenen Datenbanken zusammenführen

Grundsätzlich lassen sich große Mengen an Daten gut mit Datenverarbeitungssprogrammen wie Excel sammeln, strukturieren und sortieren. Eine weitere Möglichkeit sind Literaturverwaltungsprogramme wie Endnote, Citavi oder Zotero. Einen  Überblick gängiger Literaturverwaltungsprogramme  bietet die Sächsische Landesbibliothek – Staats- und Universitätsbibliothek in Dresden an. Aber auch Software für qualitative Datenauswertungen wie NVivo eignen sich für die Datenverarbeitung. Eine umfangreiche Übersicht verschiedener Tools, die den SLR-Prozess unterstützen findet sich bei Bandara et al. (2015).

Unser Online-Selbstlernkurs  "Managing literature with Citavi"  zeigt Ihnen die Anwendung von Literaturverwaltungsprogrammen am Beispiel von Citavi.

Bei einem SLR sollte man bei jedem Treffer angeben aus welcher Datenbank er stammt und an welchem Tag die Abfrage erfolgte. Zudem gibt man stets an wie viele Treffer man in den verschiedenen Datenbanken oder beispielsweise durch Handsuche identifiziert hat.

Datenexport aus Literaturdatenbanken

Der Export aus den Literaturdatenbanken ist sehr leicht. Bei der  Business Source Complete  klickt man in der Trefferliste den Button „Share“ und ganz unten dann „E-Mail a link to download exported results“ und wählt das passende Format für das jeweilige Literaturprogramm aus.

Bei der Literaturdatenbank  Econbiz  funktioniert der Export über Merklisten. Setzen Sie für den Export der gesamten Terfferliste die Anzahl angezeigter Treffer auf das Maximun und fügen jeweils die Treffer einer Seite zu einer Merkliste hinzu. Am Ende können die Titel auf der Merkliste exportiert werden.

Nach dem Zusammenführen aller Treffer aus den verschiedenen Datenbanken in ein Literaturverwaltungsprogramm werden doppelte Einträge (Dubletten) gelöscht.

5. Ein- und Ausschlusskriterien anwenden

Alle Publikationen werden anhand der zuvor definierten Ein- und Ausschlusskriterien im Literaturverwaltungsprogramm bewertet. Nur die Quellen, die diesen Auswahlprozess überstehen, werden im Weiteren analysiert. Der Auswahlprozess soll von mindestens zwei Personen unabhängig voneinander durchgeführt werden, um die Qualität und Reliabilität des Auswahlprozesses zu gewährleisten. Wie mit Unstimmigkeiten umgegangen wird, wird festgelegt und im SLR- Protokoll vermerkt.

Zur Überprüfung der Ein- und Ausschlusskriterien werden in einem ersten Schritt vor allem der Titel, der Abstract, die Schlagwörter der Datenbanken sowie von Autor*innen bereitgestellte Stichwörter einer Publikation herangezogen. In einem zweiten Schritt werden die verbleibenden Artikel vorständig gelesen.

Die Ein- und Ausschlusskriterien können als Schlagwort in einem Literaturverwaltungsprogramm den Titeln zugeordnet werden, um den Überblick zu behalten.

Alternativ zu den gängigen Literaturverwaltungsprogrammen gibt es aber auch kostenlose und zahlungspflichtige Software, die ganz speziell zur Durchführung eines SLRs entwickelt wurde. Die Bibliothek der Universität Zürich hat ein Zusammenstellung und Bewertung diverser Tools veröffentlich, die auch die Bewertung der Tools durch eine Umfrage unter Forschenden beinhaltet.  Zur Toolübersicht

Die Quellenauswahl muss dabei transparent erfolgen. Eine gute Visualisierung der auf jeder Stufe ausgeschlossenen Artikel ist mit dem  PRISMA Flußdiagramm-Chart  möglich.

Vorwärts- und Rückwärtssuche

Sollte sich zeigen, dass die Anzahl der gefundenen Quellen relativ gering ist, oder besonders gründlich vorgehen möchte, empfiehlt sich eine Vorwärts- und Rückwärtssuche basierend auf den gefundenen Quellen (Webster & Watson 2002, S. xvi). Bei der Rückwärtssuche geht man die Literaturverzeichnisse der gefundenen Quellen durch. Bei der Vorwärtssuche prüft man, von welchen Artikeln die relevanten Publikationen zitiert worden sind. Hierbei unterstützt die Datenbank Web of Science oder Scopus.

6. Review durchführen

Im nächsten Schritt werden die übrig gebliebenen Titel inhaltlich analysiert und dazu mehrfach vollständig gelesen. Informationen werden anhand definierter Kriterien extrahiert und die Qualität der Publikationen bewertet.

Wird die Analyse von mehr als einer Person durchgeführt, sollte ein Training vorangehen, um Unterschiede bei Kodieren und der Datenabstraktion zu vermeiden.

Die Datenabstraktion kann mit Hilfe verschiedener Methoden durchgeführt werden (Inhaltsanalyse, Konzeptmatrix, etc.). Eine sogenannte Konzeptmatrix hilft, Informationen inhaltlich zu strukturieren (Webster & Watson 2002, S. xvii). Die Tabelle unten zeigt ein Beispiel einer Konzeptmatrix nach Becker (2014).

Die Bewertung der Studienqualität ist insbesondere im Bereich der Wirtschaftswissenschaften nach keinem allgemein gültigen Schema einschätzbar wie es sie beispielsweise in der Medizin gibt. Die Qualitätsbewertung hängt daher maßgeblich von den Forschungsfragen ab.

Aus den Erkenntnissen der einzelnen Studien wird dann auf einer Meta-Ebene versucht zu verstehen, welche Gemeinsamkeiten und Unterschiede zwischen den Publikationen bestehen, welche Forschungslücken es gibt etc. Das Ergebnis kann auch die Entwicklung eines theoretischen Modells oder Bezugsrahmens sein.

Beispiel Konzeptmatrix nach (Becker 2013) zum Thema Business Process Management

7. Ergebnisse synthetisieren

Nach der Durchführung des Reviews gilt, die Ergebnisse zusammenzustellen und darauf Schlussfolgerungen für die Forschungsfrage abzuleiten (Fink 2014, S. 199ff). Dazu gehören beispielsweise folgende Aspekte:

• Historische Entwicklung von Themen (Histogramm, Zeitreihen: Wann wurde zu den Forschungsthemen wie häufig publiziert?)
• Übersicht der Journals, Autoren oder Fachdisziplinen, die sich mit dem Thema beschäftigen
• Vergleich angewandter statistischer Methoden
• Themen, die durch die Forschung abgedeckt werden
• Forschungslücken aufzeigen
• Bezugsrahmen entwickeln
• Konstrukte entwickeln
• Durchführung einer Meta-Analyse: Vergleich der Korrelationen der Ergebnisse verschiedener empirischer Studien (siehe z.B. Fink 2014, S. 203 zur Durchführung von Meta-Analysen)

Für die Publikation eines SLRs ist es wichtig, die Vorgehensweise in einem ausreichenden Detaillierungsgrad zu beschreiben. Ferner muss neben der Beschreibung des Forschungsstandes zu einem Thema etwas wirklich Neues zur Forschung beigetragen werden und die der Mehrwert des Artikels für die Forschung eindeutig herausgestellt werden.

Publikationen über die Methode

Bandara, W., Furtmueller, E., Miskon, S., Gorbacheva, E., & Beekhuyzen, J. (2015). Achieving Rigor in Literature Reviews: Insights from Qualitative Data Analysis and Tool-Support.  Communications of the Association for Information Systems . 34(8), 154-204.

Booth, A., Papaioannou, D., and Sutton, A. (2012)  Systematic approaches to a successful literature review.  London: Sage.

Briner, R. B., & Denyer, D. (2012). Systematic Review and Evidence Synthesis as a Practice and Scholarship Tool. In Rousseau, D. M. (Hrsg.),  The Oxford Handbook of Evidenence Based Management . (S. 112-129). Oxford: Oxford University Press.

Durach, C. F., Wieland, A., & Machuca, Jose A. D. (2015). Antecedents and dimensions of supply chain robustness: a systematic literature review . International Journal of Physical Distribution & Logistic Management , 46 (1/2), 118-137. doi:  https://doi.org/10.1108/IJPDLM-05-2013-0133

Feak, C. B., & Swales, J. M. (2009). Telling a Research Story: Writing a Literature Review.  English in Today's Research World 2.  Ann Arbor: University of Michigan Press. doi:  10.3998/mpub.309338

Fink, A. (2014).  Conducting Research Literature Reviews: From the Internet to Paper  (4. Aufl.). Los Angeles, London, New Delhi, Singapore, Washington DC: Sage Publication.

Fisch, C., & Block, J. (2018). Six tips for your (systematic) literature review in business and management research.  Management Review Quarterly,  68, 103–106 (2018).  doi.org/10.1007/s11301-018-0142-x

Guba, B. (2008). Systematische Literaturrecherche.  Wiener Medizinische Wochenschrift , 158 (1-2), S. 62-69. doi:  doi.org/10.1007/s10354-007-0500-0  Hart, C.  Doing a literature review: releasing the social science research imagination.  London: Sage.

Jesson, J. K., Metheson, L. & Lacey, F. (2011).  Doing your Literature Review - traditional and Systematic Techniques . Los Angeles, London, New Delhi, Singapore, Washington DC: Sage Publication.

Page MJ, McKenzie JE, Bossuyt PM, Boutron I, Hoffmann TC, Mulrow CD, et al. The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ 2021;372:n71. doi: 10.1136/bmj.n71.

Petticrew, M. and Roberts, H. (2006).  Systematic Reviews in the Social Sciences: A Practical Guide . Oxford:Blackwell. Ridley, D. (2012).  The literature review: A step-by-step guide . 2nd edn. London: Sage. 

Chang, W. and Taylor, S.A. (2016), The Effectiveness of Customer Participation in New Product Development: A Meta-Analysis,  Journal of Marketing , American Marketing Association, Los Angeles, CA, Vol. 80 No. 1, pp. 47–64.

Tranfield, D., Denyer, D. & Smart, P. (2003). Towards a methodology for developing evidence-informed management knowledge by means of systematic review.  British Journal of Management , 14 (3), S. 207-222. doi:  https://doi.org/10.1111/1467-8551.00375

Webster, J., & Watson, R. T. (2002). Analyzing the Past to Prepare for the Future: Writing a Literature Review.  Management Information Systems Quarterly , 26(2), xiii-xxiii.  http://www.jstor.org/stable/4132319

Durach, C. F., Wieland, A. & Machuca, Jose. A. D. (2015). Antecedents and dimensions of supply chain robustness: a systematic literature review. International Journal of Physical Distribution & Logistics Management, 45(1/2), 118 – 137.

Besonders gut an diesem Beispiel ist, dass die Suchbegriffe von einer Reihe von Experten definiert wurden und die Überprüfung von drei unabhängig voneinander arbeitenden Forscher*innen durchgeführt wurde. Außerdem wurden die verwendeten Suchbegriffe sehr gut extrahiert und das Verfahren der Literaturauswahl sehr gut beschrieben.

Nachteilig ist, dass durch die Beschränkung auf englischsprachige Literatur die sprachliche Verzerrung ins Spiel kommt, auch wenn die Autoren diese für den Themenbereich als unbedeutend erachten.  

Bos-Nehles, A., Renkema, M. & Janssen, M. (2017). HRM and innovative work behaviour: a systematic literature review. Personnel Review, 46(7), pp. 1228-1253

• Nur sehr spezifische Schlüsselwörter verwendet Keine genauen Informationen darüber, wie der Überprüfungsprozess durchgeführt wurde (wer hat die Artikel überprüft?)
• Nur Zeitschriften mit Impact-Faktor (Publikationsverzerrung)

Jia, F., Orzes, G., Sartor, M. & Nassimbeni, G. (2017). Global sourcing strategy and structure: towards a conceptual framework. International Journal of Operations & Production Management, 37(7), 840-864

• Forschungsfragen werden explizit dargestellt
• Suchbegriff sehr detailliert
• Genaue Beschreibung des Review-Prozesses
• 2 Personen haben das Review unabhängig voneinander durchgeführt

Beratung & Kontakt

Franziska Klatt

[email protected]

+49 30 314-29778

Hilfe benötigt?

Datenschutzhinweis: Die TU Berlin bietet eine Chatauskunft an. Wenn Sie diese aktivieren, werden Ihre IP-Adresse und Ihre Chatnachrichten an externe EU-Server übermittelt. Mehr Informationen

Die Chat-Auskunft ist derzeit nicht verfügbar.

Außerhalb der Chat-Zeiten nutzen Sie bitte unsere anderen Kontaktmöglichkeiten.

Kostenlose Rechtschreibprüfung

Kostenlose plagiatsprüfung, korrektur deiner abschlussarbeit.

• Wissensdatenbank

Systematic Review: Definition, Beispiel und Anleitung

Übersetzt am 24. Juni 2022 von Tobias Solis. Ursprünglich veröffentlicht von Shaun Turney

Ein Systematic Review ist eine wissenschaftliche Arbeit, bei der die Ergebnisse bereits bestehender Studien ausgewertet werden.

Anhand wiederholbarer Methoden wird das gesamte verfügbare Wissen gefunden, ausgewählt und zusammengefasst. So wird eine klar formulierte Forschungsfrage beantwortet. 

Scribbrs kostenlose Rechtschreibprüfung

Fehler kostenlos beheben

Inhaltsverzeichnis

Definition: systematic review, abgrenzung zur metaanalyse , abgrenzung zum literaturreview, abgrenzung zum scoping-review, dann ist ein systematic review sinnvoll , vor- und nachteile eines systematic review, anleitung in 7 schritten mit beispiel, häufig gestellte fragen.

Ein Review ist eine Übersicht über die Forschung, die bereits zu einem Thema durchgeführt wurde.

Der Systematic Review unterscheidet sich von anderen Arten von Reviews, da die Forschungsmethoden hier darauf ausgerichtet sind, Verzerrungen (‚bias‘) aufgrund von Voreingenommenheit der Forschenden zu reduzieren.  

Die Methoden sind wiederholbar und es wird systematisch vorgegangen:

• Formuliere eine Forschungsfrage
• Entwickle ein Protokoll
• Suche nach allen relevanten Studien
• Wende die Auswahlkriterien an
• Extrahiere die Daten
• Fasse die Daten zusammen
• Schreibe deine wissenschaftliche Arbeit

Systematic Reviews werden am häufigsten in der medizinischen und Gesundheitsforschung angewendet, finden aber auch in anderen Fachdisziplinen Anwendung.

Bei einem Systematic Review wird die Forschungsfrage in der Regel beantwortet, indem alle verfügbaren Studien zusammengefasst werden und die Qualität von deren Daten bewertet wird. 

Zusammenfassen bedeutet hier, verschiedene Informationen in einen zusammenhängenden Text zu überführen. Die Zusammenfassung kann narrativ ( qualitativ ), quantitativ oder durch eine Kombination von Beidem erfolgen.

Möchtest du eine fehlerfreie Arbeit abgeben?

Mit einem Lektorat helfen wir dir, deine Abschlussarbeit zu perfektionieren.

Neugierig? Bewege den Regler von links nach rechts!

Zu deiner Korrektur

Eine Metaanalyse ist eine statistische Forschungsmethode und keine Review-Form. 

In Systematic Reviews werden die Ergebnisse der untersuchten Studien oft quantitativ anhand einer Metaanalyse zusammengefasst. Eine Metaanalyse ist eine Technik, um Ergebnisse aus mehreren Studien zusammenzufassen und eine Effektgröße zu bestimmen. 

Ein Literaturreview ist eine Review-Form, die weniger systematisch und formale ist als das Systematic Review. Bei einem Literaturreview werden frühere Arbeiten qualitativ zusammengefasst und bewertet, ohne eine formale, explizite Methode zu verwenden.

Literaturreviews sind oft aufschlussreich und zudem weniger zeitaufwendig, bergen aber ein höheres Risiko für Verzerrungen (‚bias‘) und sind weniger transparent als systematische Übersichtsarbeiten.

Ähnlich wie der systematische Review ist ein Scoping-Review eine Review-Form, bei der versucht wird, Verzerrungen (‚bias‘) durch transparente und wiederholbare Methoden zu minimieren.

Der wichtigste Unterschied zum Systematic Review ist das Ziel: 

Anstatt eine bestimmte Forschungsfrage zu beantworten, untersucht ein Scoping-Review ein Thema. Die forschende Person versucht, die wichtigsten Konzepte, Theorien und Beweise sowie Lücken in der aktuellen Forschung zu identifizieren.

Manchmal sind Scoping-Reviews ein explorativer Vorbereitungsschritt für einen systematischen Review, manchmal sind sie ein eigenständiges Projekt.

Kostenlos auf Plagiate prüfen.

Ein Systematic Review ist eine gute Wahl, wenn du eine Forschungsfrage zur Wirksamkeit einer Sache, z. B. einer medizinischen Behandlung, beantworten möchtest.

Um eine systematische Überprüfung durchzuführen, benötigst du Folgendes:

• Eine präzise Forschungsfrage , meistens nach der Wirksamkeit einer Behandlung. Die Frage muss sich auf ein Thema beziehen, das zuvor von mehreren Forschern untersucht wurde. Wenn es keine vorherige Forschung gibt, gibt es nichts zu überprüfen.
• Zugriff auf Datenbanken und Zeitschriftenarchive. Häufig stellt dir deine Uni den Zugang zur Verfügung.
• Zeit. Ein professionelles Systematic Review ist ein zeitaufwendiger Prozess und verlangt von der durchführenden Person etwa sechs Monate Vollzeitarbeit. Wenn du Student bist, solltest du den Umfang einschränken und dich an einen engen Zeitplan halten.
• Bibliografische, Textverarbeitungs-, Tabellenkalkulations- und Statistiksoftware. Beispielsweise kannst du EndNote, Microsoft Word, Microsoft Excel und SPSS verwenden.
• Ein Team von mindestens drei Personen. Die empfohlene Vorgehensweise erfordert für bestimmte Schritte drei Personen. 

Systematic Reviews haben viele Vorteile. 

• Minimierte Voreingenommenheit (‚bias‘), weil jede untersuchte Studie auf Voreingenommenheit überprüft wird (z. B. Confirmation Bias ).
• Transparente Methodik , sodass sie von anderen hinterfragt werden kann.
• Gründlichkeit , weil alle verfügbaren wissenschaftlichen Ergebnisse berücksichtigt werden.
• Replizierbarkeit und Aktualisierbarkeit durch andere Forschende.

Systematic Reviews haben auch einige Nachteile.

• Zeitaufwand ist hoch.
• Thematische Begrenztheit , weil nur die genaue Forschungsfrage beantwortet wird.

Die 7 Schritte zur Durchführung eines Systematic Reviews erklären wir dir anhand eines Beispiels. 

1. Formuliere eine Forschungsfrage

Die Formulierung der Forschungsfrage ist wahrscheinlich der wichtigste Schritt eines systematischen Reviews. Eine klare Forschungsfrage ermöglicht es dir,

• deine Forschung effektiver mit anderen Forschenden zu besprechen und
• gute Entscheidungen zu treffen, während du deinen Systematic Review planst und durchführst.

Eine gute Forschungsfrage für einen Systematic Review besteht aus vier Komponenten, die du dir mit dem englischen Akronym PICO merken kannst:

 Du kannst diese vier Komponenten neu anordnen, um deine Forschungsfrage zu formulieren:

• Wie effektiv ( O ) ist I im Vergleich zu C für P ?

Manchmal ist es sinnvoll, als fünfte Komponente die Art des Forschungsdesigns (‚type of study design‘)  mit einzubeziehen. In diesem Fall ist das Akronym PICOT .

Population: Personen mit Dermatitis

Intervention : Behandlung mit Probiotika

Vergleich: Personen mit Dermatitis 

• ohne Behandlung 
• mit Placebo-Behandlung
• mit anderer Behandlung

Ergebnis: Veränderungen, die von den behandelten Personen bzw. deren Eltern und den behandelnden Fachpersonen in Bezug auf Dermatitis-Symptome und die Lebensqualität wahrgenommen wurden. 

Forschungsdesign: Randomisierte kontrollierte Studie  

2. Entwickle ein Protokoll

Ein Protokoll ist ein Dokument, das dein Forschungsdesign für den Systematic Review enthält. Dieser Schritt ist wichtig, denn das Protokoll ermöglicht es dir, effizienter zu arbeiten und Voreingenommenheit (‚bias‘) zu reduzieren.

Dein Protokoll sollte die folgenden Bestandteile enthalten: 

• Hintergrundinformationen: Gib den Kontext der Forschungsfrage an, einschließlich der Gründe, warum sie wichtig ist.
• Forschungsziel(e): Formuliere deine Forschungsfrage als Ziel um.
• Vorgeschlagene Methoden
• Auswahlkriterien: Gib an, wie du entscheidest, welche Studien in deine Bewertung aufgenommen oder davon ausgeschlossen werden sollen.
• Suchstrategie: Erläutere, wie du Studien finden wirst.
• Analyse: Erkläre, welche Informationen du aus den Studien sammeln und wie du die Daten zusammenfassen wirst.

3. Suche nach allen relevanten Studien

Die Suche nach relevanten Studien ist der zeitaufwendigste Schritt eines Systematic Review.

Um Verzerrungen (‚bias‘) zu reduzieren, ist es wichtig, eine systematische Literaturrecherche durchzuführen. Deine Strategie hängt von deinem Fachgebiet und deiner Forschungsfrage ab, aber Quellen fallen im Allgemeinen in diese vier Kategorien:

• Datenbanken: Durchsuche mehrere Datenbanken mit peer-reviewter Literatur, wie z. B. PubMed oder Scopus . Denke sorgfältig darüber nach, wie du deine Suchbegriffe formulierst, und verwende mehrere Synonyme für jedes Wort.
• Handsuche: Zusätzlich zur Suche anhand von Datenbanken musst du auch manuell suchen. Dazu kannst du relevante Zeitschriften oder Konferenzberichte scannen. Außerdem kannst du die Literaturverzeichnisse relevanter Studien durchsuchen.
• Graue Literatur: Graue Literatur umfasst Dokumente, die von Universitäten, Regierungsinstitutionen und anderen Organisationen erstellt wurden und nicht von traditionellen Verlagen veröffentlicht wurden.
• Expertinnen und Experten: Wende dich an Expertinnen und Experten auf deinem Gebiet, um zu fragen, ob sie unveröffentlichte Studien haben, die in deinen Review aufgenommen werden sollten.

In diesem Schritt liest du die Studien noch nicht. Speichere potenziell relevante Quellen einfach mit einer bibliografischen Software wie dem APA- oder MLA-Generator von Scribbr.

Datenbanken: EMBASE, PsycINFO, AMED, LILACS und ISI Web of Science

Handsuche: Konferenzberichte und Referenzlisten von Artikeln

Graue Literatur: The Cochrane Library, das metaRegister of Controlled Trials und das Ongoing Skin Trials Register

4. Wende die Auswahlkriterien an

Die Anwendung der Auswahlkriterien ist eine Aufgabe für drei Personen. 

Zwei Personen lesen die Studien unabhängig voneinander und entscheiden, welche auf Grundlage der Auswahlkriterien, die in Schritt 2 im Protokoll festgelegt wurden, in ihre Überprüfung aufgenommen werden sollen. 

Die dritte Person vermittelt bei unterschiedlichen Meinungen zu bestimmten Studien.  

Stelle sicher, dass alle Beteiligten die Auswahlkriterien im Detail verstehen, bevor sie beginnen. So erhöhst du die Interrater- Reliabilität . 

Wenn du den Systematic Review im Rahmen deines Studiums schreibst, arbeitest du vermutlich alleine. In diesem Fall muss du die Auswahlkriterien selbst anwenden. Du kannst das als Einschränkung in der Diskussion deiner wissenschaftlichen Arbeit erwähnen.

Du solltest die Auswahlkriterien in zwei Schritten anwenden: 

• Auf die Titel und Abstracts bezogen: Entscheide anhand des Titels und der Informationen im Abstract für jede Studie, ob sie die Auswahlkriterien möglicherweise erfüllt.
• Auf die Volltexte bezogen: Lade die Studien herunter, die in der ersten Phase nicht ausgeschlossen wurden. Wenn ein Artikel nicht online oder über deine Bibliothek verfügbar ist, kannst du die Verfassenden um eine Kopie bitten. Lies die Studien, um zu entscheiden, welche Studien die Auswahlkriterien erfüllen.

Es ist sehr wichtig, für jede Studie genau zu dokumentieren, warum du sie aufgenommen oder ausgeschlossen hast. Sobald der Auswahlprozess abgeschlossen ist, kannst du dein Vorgehen anhand eines PRISMA-Flussdiagramms zusammenfassen.

Anschließend lasen Boyle und Tang die verbleibenden Studien vollständig durch, um zu entscheiden, ob davon weitere Studien aufgrund der Auswahlkriterien ausgeschlossen werden mussten.

Wenn sich Boyle und Tang uneinig waren, ob eine spezifische Studie ausgeschlossen werden sollte, besprachen sie dies mit ihrem Kollegen Varigos, bis die drei Forschenden zu einer Einigung kamen.

5. Extrahiere die Daten 

Daten extrahieren heißt, Informationen aus den ausgewählten Studien systematisch zu sammeln. Es gibt zwei Arten von Informationen, die du aus jeder Studie sammeln musst:

• Informationen zu Methoden und Ergebnissen der Studie. Die genauen Informationen hängen von deiner Forschungsfrage ab und umfassen häufig folgende Punkte:
• Forschungsdesign
• Stichprobengröße
• Studienkontext 
• Forschungsergebnisse  
• Schlussfolgerungen
• Deine Beurteilung der Studienqualität , einschließlich des Risikos von Verzerrungen (‚bias‘) .

Auch das Extrahieren der Daten ist eine Aufgabe für drei Personen. Zwei Personen extrahieren die Daten unabhängig voneinander. Die dritte Person vermittelt bei unterschiedlichen Einschätzungen.

Zudem sammelten sie Daten über mögliche Quellen für Verzerrungen (‚bias‘). Sie achteten z. B. darauf, wie die Studienteilnehmenden in den Kontroll- und Behandlungsgruppen randomisiert wurden.

6. Daten zusammenfassen

Daten zusammenfassen bedeutet, die von dir gesammelten Informationen zu einem einzigen zusammenhängenden Text zusammenzuführen. Es gibt zwei Hauptansätze, um Daten zusammenzufassen. 

• Narrativ ( qualitativ ): Fasse die Informationen in Worten zusammen . Dazu musst die Studien diskutieren und ihre Qualität beurteilen.
• Quantitativ : Verwende statistische Methoden, um Daten aus verschiedenen Studien zusammenzufassen und zu vergleichen. Meistens wird hierzu eine Metaanalyse gemacht. 

Im Idealfall kombinierst du beide Ansätze miteinander. 

Wenn du nicht genügend Daten hast oder die Daten aus verschiedenen Studien nicht miteinander vergleichbar sind, kannst du einfach einen narrativen Ansatz wählen. Du solltest dann jedoch begründen, warum ein quantitativer Ansatz nicht möglich war. 

Dazu kombinierten sie die unterschiedlichen Studiendaten und berechneten so die Gesamteffektstärken (Risikoverhältnisse und Differenzen zwischen den Mittelwerten ) für die Ergebnisse. Für diese Effektstärken berechneten sie Konfidenzintervalle.

Zudem unterteilten die Forschenden die Studien in Untergruppen, z. B. Studien über Babys, Kinder und Erwachsene. Anschließend untersuchten sie für jede dieser Untergruppen die jeweilige Effektstärke.

7. Schreibe deine wissenschaftliche Arbeit

Deine wissenschaftliche Arbeit sollte folgende Abschnitte enthalten.

• Abstract: Zusammenfassung des Systematic Review
• Einleitung: Begründung der Notwendigkeit der Forschung und Forschungsziele
• Methodik: Beschreibung der Auswahlkriterien der Studien, der Suchmethode sowie der Methoden zur Extraktion und Zusammenfassung der Daten
• Forschungsergebnisse: Beschreibung der Ergebnisse des Such- und Auswahlprozesses, der Studienmerkmale, der Risiken von Verzerrung (‚bias‘) in den Studien sowie der Ergebnisse der Zusammenfassung der Daten 
• Diskussion: Interpretation der Ergebnisse und Erörterung der Einschränkungen des Reviews
• Fazit: Beantwortung der Forschungsfrage und Auswirkungen für Forschung und politische Maßnahmen (‚policies‘). 

In der Regel wird die Forschungsfrage beantwortet, indem alle verfügbaren Studien zusammengefasst werden und die Qualität von deren Daten bewertet wird.

Um einen Systematic Review zu schreiben, gehst du in 7 Schritten vor:

Eine Metaanalyse ist eine statistische Forschungsmethode und keine Review-Form.

In Systematic Reviews werden die Ergebnisse der untersuchten Studien oft quantitativ anhand einer Metaanalyse zusammengefasst. Eine Metaanalyse ist eine Technik, um Ergebnisse aus mehreren Studien zusammenzufassen und eine Effektgröße zu bestimmen.

Ein Systematic Review kann sowohl qualitativ als auch quantitativ sein.

Bei einem qualitativen Systematic Review werden die Informationen in Worten zusammengefasst. Dazu werden die Studien diskutiert und es wird ihre Qualität beurteilt.

Bei einem quantitativen Systematic Review werden statistische Methoden verwendet, um Daten aus verschiedenen Studien zusammenzufassen und zu vergleichen. Meistens wird hierzu eine Metaanalyse gemacht.

Diesen Scribbr-Artikel zitieren

Wenn du diese Quelle zitieren möchtest, kannst du die Quellenangabe kopieren und einfügen oder auf die Schaltfläche „Diesen Artikel zitieren“ klicken, um die Quellenangabe automatisch zu unserem kostenlosen Zitier-Generator hinzuzufügen.

Solis, T. (2022, 24. Juni). Systematic Review: Definition, Beispiel und Anleitung. Scribbr. Abgerufen am 26. August 2024, von https://www.scribbr.de/methodik/systematic-review/

War dieser Artikel hilfreich?

Tobias Solis

Das hat anderen studierenden noch gefallen, metaanalyse – in sechs schritten selbst durchführen, so führst du eine literaturrecherche für deine wissenschaftliche arbeit durch, gütekriterien | definition und beispiele, aus versehen plagiiert finde kostenlos heraus.

An official website of the United States government

The .gov means it’s official. Federal government websites often end in .gov or .mil. Before sharing sensitive information, make sure you’re on a federal government site.

The site is secure. The https:// ensures that you are connecting to the official website and that any information you provide is encrypted and transmitted securely.

• Publications
• Account settings

Preview improvements coming to the PMC website in October 2024. Learn More or Try it out now .

• Advanced Search
• Journal List

How-to conduct a systematic literature review: A quick guide for computer science research

Angela carrera-rivera.

a Faculty of Engineering, Mondragon University

William Ochoa

Felix larrinaga.

b Design Innovation Center(DBZ), Mondragon University

Associated Data

• No data was used for the research described in the article.

Performing a literature review is a critical first step in research to understanding the state-of-the-art and identifying gaps and challenges in the field. A systematic literature review is a method which sets out a series of steps to methodically organize the review. In this paper, we present a guide designed for researchers and in particular early-stage researchers in the computer-science field. The contribution of the article is the following:

• • Clearly defined strategies to follow for a systematic literature review in computer science research, and
• • Algorithmic method to tackle a systematic literature review.

Graphical abstract

Specifications table

Method details

A Systematic Literature Review (SLR) is a research methodology to collect, identify, and critically analyze the available research studies (e.g., articles, conference proceedings, books, dissertations) through a systematic procedure [12] . An SLR updates the reader with current literature about a subject [6] . The goal is to review critical points of current knowledge on a topic about research questions to suggest areas for further examination [5] . Defining an “Initial Idea” or interest in a subject to be studied is the first step before starting the SLR. An early search of the relevant literature can help determine whether the topic is too broad to adequately cover in the time frame and whether it is necessary to narrow the focus. Reading some articles can assist in setting the direction for a formal review., and formulating a potential research question (e.g., how is semantics involved in Industry 4.0?) can further facilitate this process. Once the focus has been established, an SLR can be undertaken to find more specific studies related to the variables in this question. Although there are multiple approaches for performing an SLR ( [5] , [26] , [27] ), this work aims to provide a step-by-step and practical guide while citing useful examples for computer-science research. The methodology presented in this paper comprises two main phases: “Planning” described in section 2, and “Conducting” described in section 3, following the depiction of the graphical abstract.

Defining the protocol is the first step of an SLR since it describes the procedures involved in the review and acts as a log of the activities to be performed. Obtaining opinions from peers while developing the protocol, is encouraged to ensure the review's consistency and validity, and helps identify when modifications are necessary [20] . One final goal of the protocol is to ensure the replicability of the review.

Define PICOC and synonyms

The PICOC (Population, Intervention, Comparison, Outcome, and Context) criteria break down the SLR's objectives into searchable keywords and help formulate research questions [ 27 ]. PICOC is widely used in the medical and social sciences fields to encourage researchers to consider the components of the research questions [14] . Kitchenham & Charters [6] compiled the list of PICOC elements and their corresponding terms in computer science, as presented in Table 1 , which includes keywords derived from the PICOC elements. From that point on, it is essential to think of synonyms or “alike” terms that later can be used for building queries in the selected digital libraries. For instance, the keyword “context awareness” can also be linked to “context-aware”.

Planning Step 1 “Defining PICOC keywords and synonyms”.

Formulate research questions

Clearly defined research question(s) are the key elements which set the focus for study identification and data extraction [21] . These questions are formulated based on the PICOC criteria as presented in the example in Table 2 (PICOC keywords are underlined).

Research questions examples.

Select digital library sources

The validity of a study will depend on the proper selection of a database since it must adequately cover the area under investigation [19] . The Web of Science (WoS) is an international and multidisciplinary tool for accessing literature in science, technology, biomedicine, and other disciplines. Scopus is a database that today indexes 40,562 peer-reviewed journals, compared to 24,831 for WoS. Thus, Scopus is currently the largest existing multidisciplinary database. However, it may also be necessary to include sources relevant to computer science, such as EI Compendex, IEEE Xplore, and ACM. Table 3 compares the area of expertise of a selection of databases.

Planning Step 3 “Select digital libraries”. Description of digital libraries in computer science and software engineering.

Define inclusion and exclusion criteria

Authors should define the inclusion and exclusion criteria before conducting the review to prevent bias, although these can be adjusted later, if necessary. The selection of primary studies will depend on these criteria. Articles are included or excluded in this first selection based on abstract and primary bibliographic data. When unsure, the article is skimmed to further decide the relevance for the review. Table 4 sets out some criteria types with descriptions and examples.

Planning Step 4 “Define inclusion and exclusion criteria”. Examples of criteria type.

Define the Quality Assessment (QA) checklist

Assessing the quality of an article requires an artifact which describes how to perform a detailed assessment. A typical quality assessment is a checklist that contains multiple factors to evaluate. A numerical scale is used to assess the criteria and quantify the QA [22] . Zhou et al. [25] presented a detailed description of assessment criteria in software engineering, classified into four main aspects of study quality: Reporting, Rigor, Credibility, and Relevance. Each of these criteria can be evaluated using, for instance, a Likert-type scale [17] , as shown in Table 5 . It is essential to select the same scale for all criteria established on the quality assessment.

Planning Step 5 “Define QA assessment checklist”. Examples of QA scales and questions.

Define the “Data Extraction” form

The data extraction form represents the information necessary to answer the research questions established for the review. Synthesizing the articles is a crucial step when conducting research. Ramesh et al. [15] presented a classification scheme for computer science research, based on topics, research methods, and levels of analysis that can be used to categorize the articles selected. Classification methods and fields to consider when conducting a review are presented in Table 6 .

Planning Step 6 “Define data extraction form”. Examples of fields.

The data extraction must be relevant to the research questions, and the relationship to each of the questions should be included in the form. Kitchenham & Charters [6] presented more pertinent data that can be captured, such as conclusions, recommendations, strengths, and weaknesses. Although the data extraction form can be updated if more information is needed, this should be treated with caution since it can be time-consuming. It can therefore be helpful to first have a general background in the research topic to determine better data extraction criteria.

After defining the protocol, conducting the review requires following each of the steps previously described. Using tools can help simplify the performance of this task. Standard tools such as Excel or Google sheets allow multiple researchers to work collaboratively. Another online tool specifically designed for performing SLRs is Parsif.al 1 . This tool allows researchers, especially in the context of software engineering, to define goals and objectives, import articles using BibTeX files, eliminate duplicates, define selection criteria, and generate reports.

Build digital library search strings

Search strings are built considering the PICOC elements and synonyms to execute the search in each database library. A search string should separate the synonyms with the boolean operator OR. In comparison, the PICOC elements are separated with parentheses and the boolean operator AND. An example is presented next:

(“Smart Manufacturing” OR “Digital Manufacturing” OR “Smart Factory”) AND (“Business Process Management” OR “BPEL” OR “BPM” OR “BPMN”) AND (“Semantic Web” OR “Ontology” OR “Semantic” OR “Semantic Web Service”) AND (“Framework” OR “Extension” OR “Plugin” OR “Tool”

Gather studies

Databases that feature advanced searches enable researchers to perform search queries based on titles, abstracts, and keywords, as well as for years or areas of research. Fig. 1 presents the example of an advanced search in Scopus, using titles, abstracts, and keywords (TITLE-ABS-KEY). Most of the databases allow the use of logical operators (i.e., AND, OR). In the example, the search is for “BIG DATA” and “USER EXPERIENCE” or “UX” as a synonym.

Example of Advanced search on Scopus.

In general, bibliometric data of articles can be exported from the databases as a comma-separated-value file (CSV) or BibTeX file, which is helpful for data extraction and quantitative and qualitative analysis. In addition, researchers should take advantage of reference-management software such as Zotero, Mendeley, Endnote, or Jabref, which import bibliographic information onto the software easily.

Study Selection and Refinement

The first step in this stage is to identify any duplicates that appear in the different searches in the selected databases. Some automatic procedures, tools like Excel formulas, or programming languages (i.e., Python) can be convenient here.

In the second step, articles are included or excluded according to the selection criteria, mainly by reading titles and abstracts. Finally, the quality is assessed using the predefined scale. Fig. 2 shows an example of an article QA evaluation in Parsif.al, using a simple scale. In this scenario, the scoring procedure is the following YES= 1, PARTIALLY= 0.5, and NO or UNKNOWN = 0 . A cut-off score should be defined to filter those articles that do not pass the QA. The QA will require a light review of the full text of the article.

Performing quality assessment (QA) in Parsif.al.

Data extraction

Those articles that pass the study selection are then thoroughly and critically read. Next, the researcher completes the information required using the “data extraction” form, as illustrated in Fig. 3 , in this scenario using Parsif.al tool.

Example of data extraction form using Parsif.al.

The information required (study characteristics and findings) from each included study must be acquired and documented through careful reading. Data extraction is valuable, especially if the data requires manipulation or assumptions and inferences. Thus, information can be synthesized from the extracted data for qualitative or quantitative analysis [16] . This documentation supports clarity, precise reporting, and the ability to scrutinize and replicate the examination.

Analysis and Report

The analysis phase examines the synthesized data and extracts meaningful information from the selected articles [10] . There are two main goals in this phase.

The first goal is to analyze the literature in terms of leading authors, journals, countries, and organizations. Furthermore, it helps identify correlations among topic s . Even when not mandatory, this activity can be constructive for researchers to position their work, find trends, and find collaboration opportunities. Next, data from the selected articles can be analyzed using bibliometric analysis (BA). BA summarizes large amounts of bibliometric data to present the state of intellectual structure and emerging trends in a topic or field of research [4] . Table 7 sets out some of the most common bibliometric analysis representations.

Techniques for bibliometric analysis and examples.

Several tools can perform this type of analysis, such as Excel and Google Sheets for statistical graphs or using programming languages such as Python that has available multiple  data visualization libraries (i.e. Matplotlib, Seaborn). Cluster maps based on bibliographic data(i.e keywords, authors) can be developed in VosViewer which makes it easy to identify clusters of related items [18] . In Fig. 4 , node size is representative of the number of papers related to the keyword, and lines represent the links among keyword terms.

[1] Keyword co-relationship analysis using clusterization in vos viewer.

This second and most important goal is to answer the formulated research questions, which should include a quantitative and qualitative analysis. The quantitative analysis can make use of data categorized, labelled, or coded in the extraction form (see Section 1.6). This data can be transformed into numerical values to perform statistical analysis. One of the most widely employed method is frequency analysis, which shows the recurrence of an event, and can also represent the percental distribution of the population (i.e., percentage by technology type, frequency of use of different frameworks, etc.). Q ualitative analysis includes the narration of the results, the discussion indicating the way forward in future research work, and inferring a conclusion.

Finally, the literature review report should state the protocol to ensure others researchers can replicate the process and understand how the analysis was performed. In the protocol, it is essential to present the inclusion and exclusion criteria, quality assessment, and rationality beyond these aspects.

The presentation and reporting of results will depend on the structure of the review given by the researchers conducting the SLR, there is no one answer. This structure should tie the studies together into key themes, characteristics, or subgroups [ 28 ].

SLR can be an extensive and demanding task, however the results are beneficial in providing a comprehensive overview of the available evidence on a given topic. For this reason, researchers should keep in mind that the entire process of the SLR is tailored to answer the research question(s). This article has detailed a practical guide with the essential steps to conducting an SLR in the context of computer science and software engineering while citing multiple helpful examples and tools. It is envisaged that this method will assist researchers, and particularly early-stage researchers, in following an algorithmic approach to fulfill this task. Finally, a quick checklist is presented in Appendix A as a companion of this article.

CRediT author statement

Angela Carrera-Rivera: Conceptualization, Methodology, Writing-Original. William Ochoa-Agurto : Methodology, Writing-Original. Felix Larrinaga : Reviewing and Supervision Ganix Lasa: Reviewing and Supervision.

Declaration of Competing Interest

The authors declare that they have no known competing financial interests or personal relationships that could have appeared to influence the work reported in this paper.

Acknowledgments

Funding : This project has received funding from the European Union's Horizon 2020 research and innovation programme under the Marie Sklodowska-Curie Grant No. 814078.

Carrera-Rivera, A., Larrinaga, F., & Lasa, G. (2022). Context-awareness for the design of Smart-product service systems: Literature review. Computers in Industry, 142, 103730.

1 https://parsif.al/

Data Availability

Reference management. Clean and simple.

How to write a systematic literature review [9 steps]

What is a systematic literature review?

Where are systematic literature reviews used, what types of systematic literature reviews are there, how to write a systematic literature review, 1. decide on your team, 2. formulate your question, 3. plan your research protocol, 4. search for the literature, 5. screen the literature, 6. assess the quality of the studies, 7. extract the data, 8. analyze the results, 9. interpret and present the results, registering your systematic literature review, frequently asked questions about writing a systematic literature review, related articles.

A systematic literature review is a summary, analysis, and evaluation of all the existing research on a well-formulated and specific question.

Put simply, a systematic review is a study of studies that is popular in medical and healthcare research. In this guide, we will cover:

• the definition of a systematic literature review
• the purpose of a systematic literature review
• the different types of systematic reviews
• how to write a systematic literature review

➡️ Visit our guide to the best research databases for medicine and health to find resources for your systematic review.

Systematic literature reviews can be utilized in various contexts, but they’re often relied on in clinical or healthcare settings.

Medical professionals read systematic literature reviews to stay up-to-date in their field, and granting agencies sometimes need them to make sure there’s justification for further research in an area. They can even be used as the starting point for developing clinical practice guidelines.

A classic systematic literature review can take different approaches:

• Effectiveness reviews assess the extent to which a medical intervention or therapy achieves its intended effect. They’re the most common type of systematic literature review.
• Diagnostic test accuracy reviews produce a summary of diagnostic test performance so that their accuracy can be determined before use by healthcare professionals.
• Experiential (qualitative) reviews analyze human experiences in a cultural or social context. They can be used to assess the effectiveness of an intervention from a person-centric perspective.
• Costs/economics evaluation reviews look at the cost implications of an intervention or procedure, to assess the resources needed to implement it.
• Etiology/risk reviews usually try to determine to what degree a relationship exists between an exposure and a health outcome. This can be used to better inform healthcare planning and resource allocation.
• Psychometric reviews assess the quality of health measurement tools so that the best instrument can be selected for use.
• Prevalence/incidence reviews measure both the proportion of a population who have a disease, and how often the disease occurs.
• Prognostic reviews examine the course of a disease and its potential outcomes.
• Expert opinion/policy reviews are based around expert narrative or policy. They’re often used to complement, or in the absence of, quantitative data.
• Methodology systematic reviews can be carried out to analyze any methodological issues in the design, conduct, or review of research studies.

Writing a systematic literature review can feel like an overwhelming undertaking. After all, they can often take 6 to 18 months to complete. Below we’ve prepared a step-by-step guide on how to write a systematic literature review.

• Decide on your team.
• Formulate your question.
• Plan your research protocol.
• Search for the literature.
• Screen the literature.
• Assess the quality of the studies.
• Extract the data.
• Analyze the results.
• Interpret and present the results.

When carrying out a systematic literature review, you should employ multiple reviewers in order to minimize bias and strengthen analysis. A minimum of two is a good rule of thumb, with a third to serve as a tiebreaker if needed.

You may also need to team up with a librarian to help with the search, literature screeners, a statistician to analyze the data, and the relevant subject experts.

Define your answerable question. Then ask yourself, “has someone written a systematic literature review on my question already?” If so, yours may not be needed. A librarian can help you answer this.

You should formulate a “well-built clinical question.” This is the process of generating a good search question. To do this, run through PICO:

• Patient or Population or Problem/Disease : who or what is the question about? Are there factors about them (e.g. age, race) that could be relevant to the question you’re trying to answer?
• Intervention : which main intervention or treatment are you considering for assessment?
• Comparison(s) or Control : is there an alternative intervention or treatment you’re considering? Your systematic literature review doesn’t have to contain a comparison, but you’ll want to stipulate at this stage, either way.
• Outcome(s) : what are you trying to measure or achieve? What’s the wider goal for the work you’ll be doing?

Now you need a detailed strategy for how you’re going to search for and evaluate the studies relating to your question.

The protocol for your systematic literature review should include:

• the objectives of your project
• the specific methods and processes that you’ll use
• the eligibility criteria of the individual studies
• how you plan to extract data from individual studies
• which analyses you’re going to carry out

For a full guide on how to systematically develop your protocol, take a look at the PRISMA checklist . PRISMA has been designed primarily to improve the reporting of systematic literature reviews and meta-analyses.

When writing a systematic literature review, your goal is to find all of the relevant studies relating to your question, so you need to search thoroughly .

This is where your librarian will come in handy again. They should be able to help you formulate a detailed search strategy, and point you to all of the best databases for your topic.

➡️ Read more on on how to efficiently search research databases .

The places to consider in your search are electronic scientific databases (the most popular are PubMed , MEDLINE , and Embase ), controlled clinical trial registers, non-English literature, raw data from published trials, references listed in primary sources, and unpublished sources known to experts in the field.

➡️ Take a look at our list of the top academic research databases .

Tip: Don’t miss out on “gray literature.” You’ll improve the reliability of your findings by including it.

Don’t miss out on “gray literature” sources: those sources outside of the usual academic publishing environment. They include:

• non-peer-reviewed journals
• pharmaceutical industry files
• conference proceedings
• pharmaceutical company websites
• internal reports

Gray literature sources are more likely to contain negative conclusions, so you’ll improve the reliability of your findings by including it. You should document details such as:

• The databases you search and which years they cover
• The dates you first run the searches, and when they’re updated
• Which strategies you use, including search terms
• The numbers of results obtained

➡️ Read more about gray literature .

This should be performed by your two reviewers, using the criteria documented in your research protocol. The screening is done in two phases:

• Pre-screening of all titles and abstracts, and selecting those appropriate
• Screening of the full-text articles of the selected studies

Make sure reviewers keep a log of which studies they exclude, with reasons why.

➡️ Visit our guide on what is an abstract?

Your reviewers should evaluate the methodological quality of your chosen full-text articles. Make an assessment checklist that closely aligns with your research protocol, including a consistent scoring system, calculations of the quality of each study, and sensitivity analysis.

The kinds of questions you'll come up with are:

• Were the participants really randomly allocated to their groups?
• Were the groups similar in terms of prognostic factors?
• Could the conclusions of the study have been influenced by bias?

Every step of the data extraction must be documented for transparency and replicability. Create a data extraction form and set your reviewers to work extracting data from the qualified studies.

Here’s a free detailed template for recording data extraction, from Dalhousie University. It should be adapted to your specific question.

Establish a standard measure of outcome which can be applied to each study on the basis of its effect size.

Measures of outcome for studies with:

• Binary outcomes (e.g. cured/not cured) are odds ratio and risk ratio
• Continuous outcomes (e.g. blood pressure) are means, difference in means, and standardized difference in means
• Survival or time-to-event data are hazard ratios

Design a table and populate it with your data results. Draw this out into a forest plot , which provides a simple visual representation of variation between the studies.

Then analyze the data for issues. These can include heterogeneity, which is when studies’ lines within the forest plot don’t overlap with any other studies. Again, record any excluded studies here for reference.

Consider different factors when interpreting your results. These include limitations, strength of evidence, biases, applicability, economic effects, and implications for future practice or research.

Apply appropriate grading of your evidence and consider the strength of your recommendations.

It’s best to formulate a detailed plan for how you’ll present your systematic review results. Take a look at these guidelines for interpreting results from the Cochrane Institute.

Before writing your systematic literature review, you can register it with OSF for additional guidance along the way. You could also register your completed work with PROSPERO .

Systematic literature reviews are often found in clinical or healthcare settings. Medical professionals read systematic literature reviews to stay up-to-date in their field and granting agencies sometimes need them to make sure there’s justification for further research in an area.

The first stage in carrying out a systematic literature review is to put together your team. You should employ multiple reviewers in order to minimize bias and strengthen analysis. A minimum of two is a good rule of thumb, with a third to serve as a tiebreaker if needed.

Your systematic review should include the following details:

A literature review simply provides a summary of the literature available on a topic. A systematic review, on the other hand, is more than just a summary. It also includes an analysis and evaluation of existing research. Put simply, it's a study of studies.

The final stage of conducting a systematic literature review is interpreting and presenting the results. It’s best to formulate a detailed plan for how you’ll present your systematic review results, guidelines can be found for example from the Cochrane institute .

Methode: Durchführung eines systematischen Reviews

• First Online: 12 September 2022

Cite this chapter

• Doreen Müller 6  

Part of the book series: Familienforschung ((FAFO))

1741 Accesses

Zusammenfassung

Die dieser Arbeit zu Grunde liegenden Forschungsfragen sind konzeptioneller Art. Als Methode zur (Weiter-) Entwicklung konzeptioneller und theoretischer Modelle wird ein systematisches Review verwendet. Nachfolgend werden die einzelnen Arbeitsschritte des systematischen Reviews vorgestellt und deren Umsetzung für die vorliegende Forschungsarbeit beschrieben.

This is a preview of subscription content, log in via an institution to check access.

Access this chapter

Subscribe and save.

• Get 10 units per month
• Download Article/Chapter or eBook
• 1 Unit = 1 Article or 1 Chapter
• Cancel anytime
• Available as PDF
• Read on any device
• Instant download
• Own it forever
• Available as EPUB and PDF
• Compact, lightweight edition
• Dispatched in 3 to 5 business days
• Free shipping worldwide - see info

Tax calculation will be finalised at checkout

Purchases are for personal use only

Institutional subscriptions

Der British Education Index konnte wegen fehlender Lizenz nicht als Datenquelle herangezogen werden.

Seit Ende 2017 steht die Metadatenbank nicht mehr zur Verfügung.

Bedingt zum einen durch die hohe Trefferanzahl und zum anderen durch die getroffenen Maßnahmen zur Qualitätssicherung, vor allem durch die Wiederholung des Selektionsprozesses, hat die Durchführung des systematischen Reviews hohe zeitliche Ressourcen benötigt. Um dennoch die Aktualität der Ergebnisse zu bestätigen, wurde ein weiteres Review für das Jahr 2016 durchgeführt. Ausführliche Erläuterungen dazu inklusive der Ergebnisse des zweiten Reviews sind im Abschnitt  6.4 enthalten.

Literatur, die den Familienalltag bis zur Zeit des zweiten Weltkrieges thematisiert, wurde ausgeschlossen.

Ausnahme bildeten Artikel, die sich zwar auf die gleiche Studie bzw. theoretischen Ansatz bezogen, jedoch eine erweiterte Darstellung von Familienalltag anboten.

Erst bei der Volltextrecherche wird die Qualitätsbeurteilung als Ausschlusskriterium einbezogen. Nur Studien mit unzureichender Qualität werden ausgeschlossen.

Mit Blick auf die Ergebnisse des Selektionsprozesses der elektronischen Datenbanken zeigte sich, dass mittels dieses Ausschlusskriteriums nur 234 Artikel (1,0 % der Ausgangstreffer) ausgeschlossen wurden (vgl. Abschnitt  5.3.2.1 ). Somit ist eine negative Auswirkung auf das Ergebnis der vorliegenden Arbeit im Sinne fehlender Dimensionen bzw. Konkretisierungen der Dimensionen nicht zu erwarten.

In einer ersten groben Literatursichtung zur Erstellung der Suchmatrix für die Literatursuche in den elektronischen Datenbanken (vgl. Abschnitt  5.2.1 ) war auffällig, dass ein großer Anteil an Literatur vorhanden war, welcher sich mit medizinischen Themen bzw. Themen des abweichenden Verhaltens beschäftigt. Diese Erkenntnis ermöglichte vorab, dies als Ausschlusskriterium aufzunehmen. Im Selektionsprozess der Treffer der elektronischen Datenbanken konnten so 824 Artikel (3,5 % der Ausgangstreffer) ausgeschlossen werden (vgl. Abschnitt  5.3.2.1 ).

Falls mehrere Ausschlussgründe gleichzeitig zutrafen, wurde der Grund ausgewählt, der am meisten im Fokus des jeweiligen Titels stand.

Die Interpretation von Yule’s Y erfolgt wie folgt: 0 = kein Zusammenhang, -1 = sehr starker, perfekter negativer Zusammenhang, + 1 = sehr starker, perfekter positiver Zusammenhang.

Die meisten der eingeschlossenen Studien verwenden qualitative Verfahren, was zudem eine objektive Qualitätsbewertung etwas erschweren würde, da keine festen allgemeingültigen Gütekriterien wie in der quantitativen Forschung vorliegen. Seit Mitte der 1980er Jahre wird verstärkt eine Diskussion über die Qualität der qualitativen Forschung geführt (Flick, 2016, S. 485–567), welche bis heute noch anhält (zur Qualitätsbeurteilung qualitativer Forschung siehe vertiefend Reid und Gough (2000); Seale (1999); Steinke (1999), (2005); Tong, Sainsbury und Craig (2007)).

Zur Erhöhung des kreativen Prozesses wird daher empfohlen, diesen Arbeitsschritt in einer Gruppe umzusetzen. Auf Grund des Charakters einer Qualifizierungsarbeit konnte das für die vorliegende Arbeit nicht umgesetzt werden.

Author information

Authors and affiliations.

Otto-Friedrich-Universität Bamberg, Bamberg, Deutschland

Doreen Müller

You can also search for this author in PubMed   Google Scholar

Corresponding author

Correspondence to Doreen Müller .

5.1 Elektronisches Zusatzmaterial

Zusatzmaterial 1 (pdf 1208 kb), rights and permissions.

Reprints and permissions

Copyright information

© 2023 Der/die Autor(en), exklusiv lizenziert durch Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature

About this chapter

Müller, D. (2023). Methode: Durchführung eines systematischen Reviews. In: Familienalltag: Ein systematisches Review zur Entwicklung eines konzeptionellen Modells. Familienforschung. Springer VS, Wiesbaden. https://doi.org/10.1007/978-3-658-35599-9_5

Download citation

DOI : https://doi.org/10.1007/978-3-658-35599-9_5

Published : 12 September 2022

Publisher Name : Springer VS, Wiesbaden

Print ISBN : 978-3-658-35598-2

Online ISBN : 978-3-658-35599-9

eBook Packages : Social Science and Law (German Language)

Share this chapter

Anyone you share the following link with will be able to read this content:

Sorry, a shareable link is not currently available for this article.

Provided by the Springer Nature SharedIt content-sharing initiative

• Publish with us

Policies and ethics

• Find a journal
• Track your research