Helpt AI bij het leren van een taal?
In een meta-analyse van 48 studies vinden Zhang en collega’s een positief effect. We telden de deelnemers na, bekeken een aantal oorspronkelijke studies en controleerden opvallende berekeningen. Daarbij vonden we onder meer een verschil van 818 deelnemers tussen de tabel en de hoofdtekst. Wat zegt het onderzoek nu werkelijk over leren met AI?
Een positief resultaat. Hoe groot is het effect?
De auteurs brengen 48 studies en 67 effectgroottes samen. Leerlingen en studenten die met AI oefenden, scoorden in veel onderzoeken hoger op de gemeten taaluitkomsten. Het gemiddelde effect is g = 0,76. Zonder drie uitzonderlijk hoge uitkomsten daalt dat naar g = 0,57. Nog steeds positief, maar beduidend kleiner.
De uitkomsten lopen bovendien sterk uiteen (I² = 92,64%). Spreken met een chatbot is een andere oefening dan een tekst verbeteren met AI-feedback. Eén gemiddeld cijfer vertelt niet wat er in een bepaalde klas zal gebeuren.
We telden de deelnemers opnieuw
In tabel 2 staan de steekproefgroottes van alle 48 onderzoeken, verspreid over pagina 9 tot en met 12. Samen tellen die op tot 4.378. In de hoofdtekst staat 5.196. Waar komen die andere 818 vandaan?
818 verschil. De publicatie legt dit niet uit. Het kunnen andere telregels of een fout in het overzicht zijn. Zonder de gebruikte groepsgegevens valt dat niet te controleren.
Ook bij de bronstudies blijven vragen liggen
Bij Bašić schreven studenten in hun moedertaal Kroatisch, terwijl deze meta-analyse gaat over het leren van een tweede taal. Alenezi staat bij Zhang als gerandomiseerd experiment, maar de oorspronkelijke auteurs noemen hun onderzoek quasi-experimenteel. En twee van de drie opvallend hoge effecten komen uit een onderzoek met Amazon Alexa. Daarvan moet nog worden vastgesteld of de gebruikte toepassing aan de eigen criteria voor generatieve AI voldoet.
We controleerden ook enkele statistische waarden. Bij Y. Wang (2025) wijkt de vermelde t-waarde af van de waarde die volgt uit de gepubliceerde groepscijfers. Bij Zhang zelf past een gerapporteerde p-waarde niet bij het opgegeven aantal vrijheidsgraden. Mogelijke verklaringen bespreken we in de review. Of deze verschillen de onderzoeksuitkomsten veranderen, kunnen we nog niet vaststellen.
En wat kunnen leerlingen later zonder AI?
Van de 48 onderzoeken hebben er slechts vier een uitgestelde nameting. De meeste studies meten prestaties tijdens of kort na het oefenen. Dat zijn bruikbare uitkomsten. Ze vertellen alleen nog weinig over wat iemand weken later zonder AI kan, of bij een nieuwe opdracht.
De auteurs tonen een gemiddeld voordeel op de gemeten taken. Hoeveel daarvan blijvende taalvaardigheid is, vraagt ander onderzoek. Ook de doelgroep telt mee: 39 van de 48 studies vonden plaats in het hoger onderwijs.
Lees hoe we dit hebben gecontroleerd
In de negen pagina’s vind je de natelling van tabel 2, de vergelijking met de oorspronkelijke studies, de herberekeningen en de bronnen. We benoemen ook wat nog openstaat. De review is geen volledige heranalyse van alle 67 effectgroottes. Daarvoor zijn de onderliggende data en analysecode nodig.