Steekproeven voor generalisatie – een belangrijke stap, maar we zijn er nog niet

Adri Smaling heeft een mooi en belangrijk artikel geschreven. Voordat ik inga op de resultaten van het artikel, wil ik eerst iets zeggen over de aanleiding, zoals die geschetst wordt in de eerste alinea. Deze bevat naar mijn mening een aantal misverstanden (waarbij ik niet wil zeggen dat de auteur zelf deze misvattingen huldigt), die ik graag uit de weg zou ruimen.De eerste zin van het stuk, ‘Kwalitatief onderzoek is van oudsher niet of minder gericht op generalisatie van de onderzoeksconclusies’, roept bij mij direct vragen op als: ‘Waarom niet? Minder dan wat?’ Als wetenschappelijk product hebben de door kwalitatief onderzoek verkregen ‘gedetailleerde kennis en inzicht, verdieping ervan en aandacht voor de gelaagdheid van ervaren betekenissen’ toch ook tot doel bruikbaar te zijn, in ieder geval potentieel, in andere gevallen? Vanuit dat perspectief zou ik zeggen dat vrijwel alle onderzoek, kwalitatief of kwantitatief, gericht is op generalisatie, en dat verschillen gelegen zijn in de manier waarop er wordt gegeneraliseerd en waar de generalisatie uit bestaat, eerder dan in de gerichtheid op generalisatie.Dit is een belangrijk punt, dat niet uit het oog verloren dient te worden. Ik herinner me goed dat ik als methodologisch adviseur een keer om advies werd gevraagd door uitvoerders van kwantitatief interventieonderzoek, die zich afvroegen of ze de uitkomsten van een effectmeting wel dienden te toetsen op significantie, omdat ze geen generaliseerbaarheid buiten de onderzochte groep (een schoolklas) nastreefden. Mijn reactie was dat ze de significantietoets wél dienden uit te voeren. Als je als (in dit geval onderwijskundig) onderzoeker een interventie of een module evalueert, doe je dat per definitie met het idee in je achterhoofd dat de resultaten daarvan potentieel iets zeggen over andere groepen, bijvoorbeeld de groep leerlingen die het jaar daarop hetzelfde onderwijs zal volgen. Het enige onderzoek dat ik kan bedenken dat niet gericht is op generalisatie is de census en aanverwante vormen: een (in het geval van de census: demografische) beschrijving van een situatie (in het geval van de census: de bevolking) op enig moment, met als enige doel deze in kaart te brengen. Op het moment dat je die in kaart brengt, doe je dat niet met het doel iets te kunnen zeggen over de toestand van volgend jaar, die immers geheel anders kan zijn.Met de zin ‘Kwalitatief onderzoek zou kleinschalig onderzoek zijn’ wordt in ieder geval de indruk gewekt dat het kleinschalige karakter van kwalitatief onderzoek een reden zou zijn waarom generaliseerbaarheid in kwalitatief onderzoek niet aan de orde is. Achter deze indruk schuilen twee misverstanden. Ten eerste heeft (statistische) generaliseerbaarheid, anders dan wel wordt gedacht, niet te maken met het meest typerende van kleinschalig onderzoek, namelijk het (geringe) aantal participanten. Generaliseerbaarheid heeft te maken met het aantal observaties. Daarom vind ik de typering ‘N=1’-onderzoek, die sommige kwantitatieve onderzoekers hanteren voor kwalitatieve studies, ook zo ongelukkig. Alsof onderzoek kan bestaan uit één observatie! Dat is precies het tegenovergestelde van de rijkdom aan ervaringen, processen en samenhangen die in kwalitatief onderzoek wordt blootgelegd. In onderzoek is het mogelijk, en in kwantitatief onderzoek ook vaak het geval, dat één individu gelijkstaat aan één observatie (bijvoorbeeld wanneer ieder individu steeds één keer dezelfde vraag beantwoordt). Maar er kunnen ook meerdere observaties per individu zijn. Denk daarbij aan herhaalde metingen bij hetzelfde individu, of denk aan vergelijking van hetzelfde construct in verschillende contexten (bijvoorbeeld het rapportcijfer op rekenen, het rapportcijfer op taal). In dergelijke gevallen zijn de observaties niet onafhankelijk van elkaar, maar in een statistische analyse kan daar heel goed rekening mee worden gehouden. Het rekenkundige aantal observaties is in zo’n geval weliswaar niet zo hoog als het aantal participanten maal het aantal metingen van hetzelfde construct, maar kan nog altijd vele malen hoger zijn dan het aantal participanten. Dat dit ook geldt voor kwalitatief onderzoek behoeft geen toelichting.Dit impliceert dat, hoewel het aantal participanten in kwalitatief onderzoek doorgaans laag is, het aantal observaties dat in het geheel niet hoeft te zijn. Voor zover generaliseerbaarheid afhangt van de omvang van de steekproef, is het geringe aantal participanten in kwalitatief onderzoek slechts een bezwaar voor die eigenschappen waar individuen in het onderzoek slechts één keer op scoren. Dit geldt bijvoorbeeld voor achtergrondkenmerken als leeftijd en geslacht.Een tweede misverstand is de suggestie dat de kern van statistische generalisatie bestaat uit het hebben van voldoende observaties. Ook dat is onjuist. Voldoende observaties vormen slechts een voorwaarde voor statistische generalisatie. De kern van statistische generalisatie is, zoals verderop in het artikel ook door Smaling betoogd, representativiteit: omdat de onderzochte groep representatief geacht wordt te zijn voor een bepaalde populatie, mag je de resultaten bij de onderzochte groep generaliseren naar die populatie.Tot slot is de suggestie in de eerste alinea dat kwantitatief onderzoek sterker gericht zou zijn op generalisatie dan kwalitatief onderzoek, onjuist. In kwantitatief onderzoek mag uitsluitend statistisch gegeneraliseerd worden wanneer de onderzochte groep random (volgens een van de door Smaling genoemde methoden) getrokken is uit de populatie waarin men is geïnteresseerd; een eis waaraan naar een schatting van Tony Onwuegbuzie (p.c.) slechts zo’n 5 procent van het kwantitatieve onderzoek voldoet. Met andere woorden: zo’n 95 procent van het kwantitatieve onderzoek is niet statistisch generaliseerbaar. Ook kwantitatief onderzoek is dus doorgaans niet gericht op statistische generaliseerbaarheid.