Ga naar de hoofdinhoud

Onderzoek in een notendop: Generatieve AI kan het leren schaden

15/10/2024
Mitte Schroeven Begeleider professionele ontwikkeling

In de reeks 'Onderzoek in een notendop' presenteren we telkens de resultaten van een recent wetenschappelijk onderzoek dat we interessant vinden. Je vindt telkens kort wat er onderzocht werd, hoe het onderzocht werd en wat de implicaties kunnen zijn voor jou als leerkracht. 

In het onderzoek “Generative AI Can Harm Learning” (Bastani ea, 2024) wordt het gebruik van generatieve AI in het onderwijs onder de loep genomen. De onderzoekers hebben gekeken naar de impact van een artificieel intelligente tutor op het leerproces van leerlingen.

Generatieve AI kan het leren schaden

Wat werd er onderzocht?

Het onderzoek richtte zich op de vraag hoe generatieve AI het leren beïnvloedt, specifiek in wiskundelessen op een middelbare school. De studie onderzocht het gebruik van twee AI-tutors gebaseerd op GPT-4: een standaard versie (GPT Base) en een aangepaste versie die via prompting input kreeg van leerkrachten over de leerstof (GPT Tutor). GPT Tutor was ook getraind om niet zomaar het antwoord te geven, maar om leerlingen aan te zetten om zelf mee te denken en te helpen bij tussenstappen. 

Hoe werd het onderzocht?

Bijna duizend middelbare scholieren namen deel aan een experiment waarbij ze gedurende 15% van hun wiskundecurriculum toegang kregen tot één van de AI-tutors of geen AI-tutor (controlegroep). De leerkrachten gaven eerst les en daarna werd er tijd gemaakt om de leerstof in te oefenen. Tijdens oefensessies konden leerlingen gebruik maken van de AI-tutors om wiskundeproblemen op te lossen, de ene groep van GPT Base, de andere van GPT Tutor. De leerlingen van de controlegroep mochten enkel gebruik maken van hun handboek. Vervolgens werden hun prestaties gemeten tijdens een examen zonder toegang tot enige hulpmiddelen.

Wat zijn de conclusies?

  • Verbeterde prestaties tijdens oefensessies: Leerlingen die GPT Tutor gebruikten, presteerden 127% beter dan de controlegroep. Leerlingen met GPT Base presteerden 48% beter. Dat klinkt als goed nieuws…
  • Verslechterde prestaties zonder AI: Na het wegnemen van de AI-hulpmiddelen echter presteerden leerlingen met GPT Base 17% slechter op examens dan de controlegroep. Met GPT Tutor presteerden ze niet slechter, maar ook niet beter dan de controlegroep.
  • Vals gevoel van competentie: de leerlingen die gebruik gemaakt hadden van de AI-tutors schatten zichzelf veel hoger in dan de leerlingen die geen AI-tutor gebruikt hadden. Hun hogere inschatting bleek op het examen echter onterecht. 
  • Gebruik als kruk: Leerlingen lijken AI dus eerder te gebruiken als kruk. Dit kan op korte termijn ervoor zorgen dat ze beter presteren, maar op langere termijn, wanneer de hulpmiddelen worden weggenomen, zien we geen positief effect. AI gebruiken die niet specifiek getraind is als tutor kan het leerproces zelfs schaden.
Effecten van AI-tutor

Wat betekent dit voor leerkrachten?

Voor leerkrachten betekent dit dat voorzichtigheid geboden is bij het inzetten van generatieve AI in het onderwijs. Hoewel AI het leerproces kan ondersteunen, kan het ook leiden tot een afhankelijkheid die het uiteindelijke leerresultaat schaadt. Dit ligt in lijn met wat we weten over effectieve ondersteuning (of scaffolding): de ondersteuning moet op maat van de leerling zijn, maar is ook tijdelijk. Bij het gebruik van AI loop je het risico dat de ondersteuning niet afgebouwd wordt en leerlingen de vaardigheid nooit zelfstandig leren beheersen. 

Je kan de resultaten van het onderzoek ook positiever interpreteren en stellen dat een AI-tutor op lange termijn even goede resultaten levert als een leraar of als docent. En je zou ook kunnen stellen dat een beetje prompting al meteen kan zorgen voor betere resultaten dan geen promting, en dat hierin de sleutel ligt tot het verbeteren van resultaten op langere termijn. 

De auteurs van het onderzoek zijn echter stellig in hun conclusie: generatieve AI kan het leren schaden. Hoe het ook zij: er is sowieso voorzichtigheid gebaat bij het inzetten van AI-tutors om leerlingen te ondersteunen. Hoewel het op korte termijn positieve effecten kan hebben, kan te veel vertrouwen op technologie er ook voor zorgen dat leerlingen essentiële vaardigheden niet volledig ontwikkelen. 

Bron
  • Bastani, H., Bastani, O., Sungu, A., Ge, H., Kabakcı, Ö., & Mariman, R. (2024). Generative AI Can Harm Learning. The Wharton School Research Paper. https://doi.org/10.2139/ssrn.4895486 

Verwante blogs