13  Meta-analyse in Jamovi

Auteur

Natascha de Hoog
16 februari 2024

13.1 Introductie

Dit is een beginners handleiding voor het gebruiken van de module MAJOR in Jamovi, voor het uitvoeren van meta-analyses. Meta-analyse is statistische methode om de effect sizes van meerdere studies samen te voegen in een overkoepelende effect size. MAJOR is gebaseerd op het R package Metafor en werkt prima voor eenvoudige meta-analyses. Dit houdt o.a. in dat je een volledig databestand nodig hebt, dus er mogen geen missing values in je statistieken zitten en alle effect sizes worden op dezelfde manier berekend (zie verderop voor voorbeelden). Voor complexere datasets of analyses heb je dus R nodig, maar zolang dat niet het geval is kom je een heel eind met dit package.

Wat staat in deze handleiding? De handleiding geeft een stap voor stap uitleg van het gebruiken van MAJOR om meta-analyse te doen. De belangrijkste opties worden toegelicht, samen met wat basis uitleg over wat er komt kijken bij meta-analyse en hoe je de uitkomsten kunt interpreteren. Eerst wordt uitgelegd wanneer je deze module kunt gebruiken, vervolgens wordt verteld wat alle mogelijke opties inhouden en tenslotte wordt er ingegaan op de interpretatie van de uitkomsten.

13.2 Voorbereiding

Download Jamovi en installeer de module MAJOR. Mocht je niet bekend zijn met Jamovi, zie dan de Jamovi handleiding voor een basis overzicht van hoe Jamovi werkt en hoe je modules installeert etc. Open je dataset en bepaal welke effect sizes je gaat gebruiken voor je meta-analyse. Of andersom, bekijk de opties die MAJOR biedt en bepaal of deze module je gaat helpen met je meta-analyse of dat je dataset additionele bewerking of R nodig heeft.

13.2.1 Geschikt databestand

Zorg dat het databestand dat je wilt gebruiken voor je analyses geschikt is voor MAJOR. Als je een Excel bestand gebruikt voor de coderingen van je meta-analyse, dan zijn hierbij de volgende zaken van belang:

  1. Maak een bestand met enkel een rij met kopjes (variabele namen) en voor de rest enkel rijen met studie coderingen;

  2. Gebruik geen spaties of tekens in je variabele namen;

  3. Gebruik zoveel mogelijk cijfers i.p.v. namen voor coderingen. Dus bijvoorbeeld bij coderen op design 1 = experiment, 2 = survey. Dus “1” gebruiken i.p.v. “experiment”.

  4. Verwijder voor je het bestand opent in Jamovi eventuele witregels en studies met ontbrekende waarden voor de variabelen die je meeneemt in je analyses. MAJOR werkt niet met missing values ;

  5. Heb je een Excel bestand met verschillende effecten die je afzonderlijk wilt analyseren, maak dan afzonderlijke Excelbestanden voor elke soort analyse;

  6. Controleer in Jamovi het meetniveau dat bij je variabelen staat. MAJOR werkt alleen als hier de correcte meetniveaus vermeldt staan.

Soms geeft MAJOR een foutmelding zoals “need finite ‘xlim’ values.” Controleer in dat geval of je al bovenstaande stappen correct hebt uitgevoerd. Kijk vervolgens nog eens naar meetniveaus en mogelijke missing values. Ook kan het helpen om kolommen te verwijderen met gecodeerde variabelen die je niet nodig hebt voor je analyses.

13.3 Soort meta-analyse (gebaseerd op soort effect size)

MAJOR heeft verschillende opties voor het uitvoeren van meta-analyses die hieronder in detail besproken worden. Voor nu worden enkel de meest gebruikte opties besproken: het bekijken van een samenhang tussen twee continue variabelen (effect size r) en het vergelijken van twee groepen op een uitkomstmaat (effect size d of odds ratios).

13.3.1 Correlation coefficients (r, N)

Deze optie gebruik je als je data bestaat uit correlaties tussen twee variabelen. Bijvoorbeeld het verband tussen extraversie en welbevinden. De effect size waar het hier om gaat is r. Om deze optie te kunnen gebruiken heb je voor alle studies het volgende nodig: de Pearson’s r correlatie, de totale n waarop de correlatie gebaseerd is en een Study label. Dat laatste is het nummer dat je aan elke studie hebt toegekend.

13.3.2 Dichotomous Models

Deze optie gebruik je als je data bestaat uit het verschil tussen twee condities en de uitkomstmaat zijn frequenties. Bijvoorbeeld een experimentele (interventie) groep en een controlegroep en de uitkomst is hoeveel mensen gestopt zijn met roken. De effect size waar het hier om gaat is de odds ratio. Om deze optie te gebruiken heb je voor alle studies het volgende nodig: frequenties en n van beide groepen en een Study label. Dat laatste is het nummer dat je aan elke studie hebt toegekend.

13.3.3 Mean Differences (n, M, SD)

Deze optie gebruik je als je data bestaat uit het verschil tussen twee condities op een continue uitkomstmaat. Bijvoorbeld een experimentele (interventie) groep en een controlegroep en de uitkomstmaat is de score op een depressie schaal. De effect size waar het hier om gaat is d. Om deze optie te gebruiken heb je voor alle studies het volgende nodig: het gemiddelde (M), de standaarddeviatie (SD), de n van beide groepen en een Study label. Dat laatste is het nummer dat je aan elke studie hebt toegekend.

13.3.4 Andere opties:

  • Effect Sizes and Sampling Variances

  • Proportions

  • Reliability Generalization

13.4 Uitvoeren meta-analyse

Voor het uitvoeren van meta-analyses in MAJOR moet je een aantal beslissingen nemen die uitgesplitst zijn in de onderdelen model, plots, publication bias en additional options. Alleen de belangrijkste opties worden in deze handleiding toegelicht.

13.4.1 Model

Meta-analyse kan worden uitgevoerd met verschillende soorten modellen. Het belangrijkste onderscheid is tussen random en fixed effect modellen. Bij random effect modellen ga je ervan uit dat de onderliggende effect size verschilt tussen studies, bij fixed modellen ga je ervan uit dat er een dezelfde onderliggend effect size is. Oftewel, je verwacht variatie in studies of je verwacht het niet. In de sociale wetenschappen is het meestal gebruikelijk om te kiezen voor een random effect model. De beste optie om hiervoor te kiezen onder model estimator is gelijk de standaard optie die getoond wordt: Restricted-Maximum-likelihood.

De andere opties die je moet selecteren onder model zijn:

  • Model measures: [Deze optie is voor elke soort meta-analyse verschillend] Deze optie staat standaard al op de juiste optie. Dus voor effect size r is dat Fisher’s r-to-z transformed correlation coefficent, voor effect size d is dat de Standardized Mean Difference en voor odds ratios is dat de Log odds ratio.

  • Moderator type: [Deze optie is voor elke soort meta-analyse hetzelfde] In meta-analyse kun je een of meerdere moderatoren meenemen. Net als in andere analyses betekent moderatie analyse dat je kijkt of het effect dat je onderzoekt in je meta-analyse anders is afhankelijk van je moderator. Bijvoorbeeld of het effect van extraversie op welbevinden afhankelijk is van het soort cultuur waarin je woont. Zie ook het hoofdstuk over moderatie. In MAJOR kun je slechts 1 moderator per analyse opnemen. Je kunt hier kiezen of je er geen hebt of wat het meetniveau van je moderator is (dichotoom of continue).

  • Back-Transform Log Odds Ratios into Odds Ratios: [Deze optie is er enkel voor odds ratios] Standaard wordt er gewerkt met log odds, maar je kunt er ook voor kiezen de odds ratios te gebruiken. Dit maakt verder niets uit, je interpreteert ze alleen net iets anders. Meer over het verschil tussen odds ratios en log odds ratios vind je in dit filmpje

  • Tests and confidence intervals: [Deze optie is er enkel voor effect size r] Hier kies je welke test gebruikt moeten worden en welke betrouwbaarheidsintervallen je wilt. Standaard staat hij al goed op z-test en 95%, de meest gebruikte opties.

  • Confidence intervals: [Deze optie is er enkel voor effect size d en odds ratio] Hier kies je welke betrouwbaarheidsintervallen je wilt. Standaard staat hij al goed op 95%, de meest gebruikte optie.

  • Display model fit: [Deze optie is voor elke effect size hetzelfde] Je kunt hier aanvinken of je maten wil van hoe goed het model dat je gemaakt hebt past. Dit kun je in principe achterwege laten.

  • Knapp and Hartung adjustment: [Deze optie is er enkel voor effect size d] Je kunt hier aanvinken of je deze aanpassing wilt gebruiken, maar je kunt die achterwege laten.

13.4.2 Plots

Twee soorten plots zijn vrij standaard om te gebruiken in meta-analyse: forest plots en funnel plots. Een forest plot geeft alle effect sizes in je meta-analyse grafisch weer. Zo is in een oogopslag te zien hoe divers de effect sizes in je studie zijn en in hoeverre de betrouwbaarheidsintervallen overlappen.

Een funnel plot zet voor alle studies de effect size af tegen de standaardfout (of het aantal deelnemers). Dit is een manier om te controleren of er bias in de data zit. Het kan gaan om publicatie bias (het fenomeen dat enkel studies met grote effecten of significante effecten gepubliceerd worden), maar kan ook aantonen dat je data heel heterogeen is (dat de effect sizes te verschillend zijn om te veronderstellen dat er eenzelfde onderliggend effect is). Als de punten grotendeels binnen de driehoek liggen, en de data vrij symmetrisch is, dan kan je stellen dat er geen bias is. Als er veel punten buiten liggen en de data erg assymmetrisch is, dan is er waarschijnlijk wel sprake van bias.

  • Forest plot: [Deze optie is beschikbaar voor alle effect sizes] Er zijn verschillende opties die je kunt kiezen, die allemaal enkel te maken hebben met de opmaak en weergave van de plot. Inhoudelijk maakt het niet uit, dus hier kun je zelf kiezen hoe jij de forest plot het duidelijkst vindt weergegeven. Blijf alleen af van de opties onder Study order, want de optie die er standaard staat is de enige die de plot goed weergeeft.

  • Funnel plot: [Deze optie is beschikbaar voor alle effect sizes] Ook deze plot heeft verschillende opties die je kunt kiezen. De instellingen zoals ze standaard staan zijn prima. De interessantste is wat je wil dat wordt weergegeven op de y-as. Standaard staat het op standard error en dat is ook de beste optie om te kiezen, die tegenwoordig het meest gangbaar is (zie de informatie hierboven voor verdere uitleg).

13.4.3 Publication bias

MAJOR geeft verschillende opties om mogelijke publicatie bias op te sporen. Publicatie bias is het fenomeen dat alleen studies met grote dan wel significante effecten worden ingestuurd en gepubliceerd in tijdschriften. Echter, publicatie bias is bijna altijd een issue en veel van de opties die hier worden geboden zijn overbodig. Zodra je funnel plot een grote afwijking laat zien, weet je eigenlijk al genoeg. Als je niets aan de standaardinstellingen verandert krijg je alleen een aantal standaard berekeningen voor publicatie bias, die je kunt gebruiken in combinatie met de funnel plot resultaten. Overige opties zou ik achterwege laten.

  • Equivalent test options: Dit onderdeel is alleen beschikbaar voor effect size d en kun je overslaan.

  • Additional options: In het laatste onderdeel zitten nog twee extra opties verstopt, waarvan de eerste heel handig kan zijn om je data beter te interpreteren. Dit onderdeel is enkel beschikbaar voor effect size r en d.

  • Show plot of influence diagnostics: Als je hier een vinkje zet dan krijg je een overzicht van verschillende figuren die je een idee geven over de verdeling van je data. Het is met name handig om eventuele outliers op te sporen. Het kan namelijk zo zijn dat je meta-analyse resultaten erg beïnvloed worden door 1 of 2 effect sizes in je meta-analyse. Wil je precies weten wat al die figuren inhouden, pak dan de documentatie over Metafor erbij.

  • Show likelihood plot: Dit vinkje zou ik achterwege laten. Het is niet noodzakelijk voor je meta-analyse.

13.5 Interpretatie meta-analyse

Het leuke of handige van deze module is dat bij de uitvoering van een meta-analyse, de voornaamste uitkomsten al gelijk voor je opgeschreven en geïnterpreteerd worden. Dus naast je standaard output volgt er ook een verhaaltje waar alles wordt beschreven en geïnterpreteerd. De eerste alinea betreft wat er precies gedaan is (dus dat kan in aangepaste vorm in je methode sectie) en de tweede alinea zijn de precieze uitkomsten (dus dat kan in aangepaste vorm in je resultaten sectie).

In het algemeen hanteer je bij meta-analyse de volgende stappen voor de interpretatie:

  1. Wat kan ik zeggen over de overal effect size(s)? Kijk naar de effect size, het bijbehorend betrouwbaarheidsinterval, de p-waarde en de forest plot;

  2. Hoe heterogeen is mijn data? Kijk naar de verschillende maten. Vroeger keken we vooral naar de Q statistiek, tegenwoordig vooral naar I² die het percentage heterogeniteit aangeeft. Hoe lager, hoe beter. Je kunt ook kijken naar de forest plot en in hoeverre de betrouwbaarheidsintervallen van de verschillende effect sizes overlappen;

  3. Kan ik de heterogeniteit verklaren? De oplossing is vaak moderatie analyse of subset analyse;

  4. Hoe mooi is mijn data? Kijk naar de funnel plot en statistieken voor mogelijke bias en naar de verschillende grafieken voor mogelijke outliers.

13.6 Meer weten over alle opties in MAJOR?

Bekijk de documentatie over Metafor.

Liever beeld bij de handleiding? Bekijk hoe de basis werkt in dit (enigszins saaie) filmpje.