In gesprek met ChatGPT Deel 2: Wat zijn de risico’s en kansen van AI voor de mbo-docent?
Dit artikel is geschreven in samenwerking met ChatGPT. Deze disclaimer is misschien even wennen, maar zal in de toekomst meer regel zijn dan uitzondering. Tenminste, wanneer deze disclaimer bij een dergelijke ‘samenwerking’ ook altijd netjes wordt benoemd. Transparantie over het inzetten van ChatGPT is één van de onderwerpen op de agenda in ‘de maand van AI (Artificial Intelligence) in het onderwijs’. In Deel 2 van dit artikel: de risico’s en de kansen van AI voor de docent.
Tekst: Nick Wildschut
In het onderwijsproces beslissen docenten continu naar eigen inzicht over de gehanteerde methode, de lesstof en (formele) beoordelingen van studenten. Artificial Intelligence kan op basis van data docenten ondersteunen bij het maken van deze beslissingen (learning analytics), kan administratieve taken overnemen om werkdruk te verlichten en gepersonaliseerde lesstof genereren die beter aansluit op de capaciteiten van individuele studenten. Het gebruik van AI in de klas heeft echter ook nog rafelrandjes -het verschil tussen gebruik en misbruik door studenten is ambigu.
In januari wordt bericht over intensief gebruik van ChatGPT door scholieren en de machteloosheid die docenten ervaren bij de controle. Plagiaatdetectoren zijn makkelijk te omzeilen, aldus de studenten. Betrokken ministers reageren eind maart op de onrust met het advies om de beoordeling te verschuiven van het eindproduct naar het schrijfproces zelf, bijvoorbeeld door opdrachten in de klas te maken met pen en papier. Staatssecretaris Alexandra van Huffelen (Digitalisering) ziet in de komst van AI slechts een nieuwe variabele in een voortslepend kat en muisspel. Werden rekenmachine en computer niet ook met huiver ontvangen en worden deze nu niet veelvuldig gebruikt in de klas? In haar argumentatie schemert een optimisme door. Een kwestie van goed speurwerk óf van het aanpassen van toetsingsmethoden?
Vraag: Hoe kunnen docenten onjuist gebruik van AI door studenten detecteren?
Wees alert op inconsistenties: Als een opdracht of essay plotseling van lagere of hogere kwaliteit is dan het werk dat de student normaal produceert, kan dit een teken zijn dat de student een AI-tool heeft gebruikt. Let ook op ongebruikelijke taal- of stijlveranderingen in het werk.
Controleer op plagiaat: Sommige studenten kunnen AI-tools gebruiken om plagiaat te plegen door stukken tekst te vervangen of te herschrijven. Gebruik plagiaatdetectiesoftware om te controleren op plagiaat en controleer of de gevonden overeenkomsten er verdacht uitzien.
Observeer het leerproces: Let op hoe studenten hun werk aanpakken en hoe ze omgaan met vragen en uitdagingen. Als een student bijvoorbeeld opeens veel sneller of efficiënter werkt dan normaal, kan dit een teken zijn dat ze een AI-tool gebruiken.
Maak gebruik van technologie: Er zijn tools beschikbaar die docenten kunnen helpen bij het detecteren van het gebruik van AI door studenten, zoals software die automatisch geschreven tekst kan analyseren om te controleren op inconsistenties en plagiaat.
Juiste vragen stellen
AI denkt niet zelfstandig, maar reageert op input -data en impulsen uit de omgeving. Het is dus een samenwerking. Om de juiste antwoorden te genereren moeten studenten de juiste vragen stellen (prompts), skills die in de toekomst van waarde zijn. AI in het onderwijs niet los te zien van onderwijs over AI. Professionalisering dwingt ons te investeren in human skills. Het gebruik van AI kan studenten helpen bij het begrijpen van complexe onderwerpen en het verbeteren van hun vaardigheden. Het is aan de docenten om onderscheid te maken in detecteren van gebruik en misbruik; geen sinecure. Aanpassing in toetsingmethode is daarom effectiever dan aanpassing in controle. Vanuit beleidsoogpunt is het constructiever om primair te kijken naar de kansen die AI biedt om frustratie te voorkomen.
Kritischer nadenken
Sal Khan, CEO van Khan Acadamy, presenteerde recent in zijn TED Talk de educatieve chatbot Khanmigo. Een virtuele super tutor voor studenten en assistent voor docenten. Net als ChatGPT geeft deze chatbot informatie, maar anders dan de generieke chatbot geeft Khanmigo geen hapklare antwoorden. Khanmigo helpt het de student enkel op weg naar een juist antwoord; de technologie leert de student kennen. De ‘gesprekken’ tussen de student en technologie worden opgenomen en kunnen worden ingezien door docenten om het leerproces te monitoren. De toetsing verschuift van het produceren van een antwoord, naar het verkrijgen van een antwoord. De student zal ten opzichte van de oude situatie juist kritischer moeten nadenken.
Vraag: Hoe kun je als docent je toetsingmethodes aanpassen om een reëel beeld te krijgen van de vaardigheden van studenten?
Geautomatiseerde beoordeling: Maak gebruik van AI-gestuurde systemen voor het automatisch beoordelen van toetsen. Deze systemen kunnen essays, code, multiple-choice-vragen en andere soorten antwoorden beoordelen. Ze gebruiken algoritmen om patronen en kenmerken te analyseren en scores toe te kennen op basis van vooraf gedefinieerde criteria. Hierdoor kun je grote hoeveelheden werk efficiënter beoordelen en objectievere resultaten krijgen.
Adaptieve toetsen: Maak gebruik van adaptieve toetsplatforms die AI gebruiken om het niveau van vragen aan te passen aan de individuele student. Deze systemen analyseren de antwoorden van de student en passen de moeilijkheidsgraad van de volgende vragen dienovereenkomstig aan. Op deze manier krijg je een beter inzicht in de specifieke vaardigheden en kennis van elke student.
Data-analyse: Maak gebruik van gegevensanalyse en dataminingtechnieken om inzicht te krijgen in de prestaties van studenten. Verzamel gegevens over hun toetsresultaten, betrokkenheid bij de cursus, interactie met lesmateriaal en andere relevante variabelen. Met behulp van AI-tools kun je deze gegevens analyseren om patronen, trends en zwakke punten te identificeren. Dit kan helpen bij het afstemmen van je onderwijs- en beoordelingsmethoden op de specifieke behoeften van studenten.
Simulaties en virtuele omgevingen: Maak gebruik van AI-ondersteunde simulaties en virtuele omgevingen om praktische vaardigheden en probleemoplossend vermogen van studenten te beoordelen. Deze tools stellen studenten in staat om realistische scenario’s te ervaren en interactie te hebben met virtuele personages of omgevingen. AI kan worden gebruikt om hun beslissingen en acties te analyseren en feedback te geven op basis van vooraf bepaalde criteria.
Natuurlijke taalverwerking: Maak gebruik van natuurlijke taalverwerkingstechnologieën om studenten te evalueren op basis van hun geschreven reacties. AI kan helpen bij het analyseren van de grammaticale nauwkeurigheid, coherentie en relevantie van hun antwoorden. Het kan ook helpen bij het identificeren van gemeenschappelijke fouten en zwakke punten in schrijfvaardigheden.
Studenten moeten leren omgaan met de technologie als onderdeel van hun voorbereiding op de samenleving. Praktijkexamens lijken beter bestand tegen misbruik dan louter theoretische toetsing. Het taalmodel van ChatGPT werkt vooralsnog met data die niet geheel actueel is, dit biedt ruimte om in opdrachten te vragen naar actuele gebeurtenissen en informatie. Slimme chatbots ‘aim to please’, ook wanneer de vraagstelling incorrect is wordt een antwoord gegenereerd. Studenten moeten weten dat ze interacteren met convincing bullshitters. Als docent kun je hiermee spelen door vragen anders te formuleren, bijvoorbeeld: noem zoveel mogelijk boektitels (maximaal 10) geschreven door Frank van Harmelen, hoogleraar kunstmatige intelligentie aan de Vrije Universiteit. Ook het vragen naar bronvermeldingen, zeker naar boektitels en diens paginanummers, dwingt de student tot verder onderzoek. Betrouwbaarheid van door AI gegeneerde informatie is immers lastig te verifiëren.
Tot slot is vragen naar meningen ook een goede manier om ChatGPT gebruik te minimaliseren, zeker wanneer deze meningen in de klas beargumenteerd moeten worden in een presentatie of debat. Er zal een verschuiving plaatsvinden van het eindproduct naar het (schrijf)proces.
Dit was deel 2 in de tweedelige serie over AI in het onderwijs. In deel 1 gaat Nick met ChatGPT op zoek naar de risico’s en kansen van AI voor het beroepsonderwijs.
Meer informatie en inspiratie over AI en studiedata
- Handreiking ChatGPT en toetsing – AI in onderwijs en toetsing voor examinatoren en examencommissies – HAN
- Handreiking ChatGPT, inclusief stappenplan voor opleidingen I Saxion
- 20 Bloemlezingen over ChatGPT en aanverwante technologieën I Wilfred Rubens
- Blog ‘Gaat ChatGPT zorgen voor transformatie in het mbo?’ I Wilfred Rubens
- E-zine Data-ondersteund onderwijs I Inzichten na drie jaar Doorpakken op Digitalisering
- Pilothub studiedata en AI – Npuls I JaapJan Vroom