Datadinsdag: Hoe maak je beleid rond AI en examinering, toetsing en afsluiting?
Om deze vraag draait de derde Datadinsdag op 16 april 2024 vanaf het SintLucas in Eindhoven. Aan de hand van drie casussen en informatie over gedragscode, richtlijnen en toetsvormen, ontstaat een boeiend (beleids)gesprek tussen sprekers en deelnemers over het gebruik van AI in het onderwijs.
Vaste host is JaapJan Vroom, beleidsadviseur bij MBO Digitaal en mede-aanvoerder van de pilothub Studiedata en AI bij Npuls. Van SintLucas schuiven aan Joke Lammers en Erno Mijland. Joke is onder andere voorzitter van de examencommissie van SintLucas en Erno is onderwijsadviseur ICT. Naast Joke en Erno zijn nog drie sprekers betrokken: Nelleke Lafeber, beleidsadviseur (examinering) MBO Raad, Amber de Wilde, Onderwijs (beleids-)adviseur SURF en Wen Bregonje, student productdesign en voorzitter van de studentenraad bij SintLucas. Erno trapt de Datadinsdag af met drie casussen over het gebruik van AI, waarbij steeds de vraag is: mag dat?
Casus #1 Gebruik van ChatGPT
Vraag: Een student schrijft een tekst met behulp van ChatGPT. Na het toevoegen en weghalen van een paar woorden, levert de student de tekst in ter beoordeling. Mag dat?
Antwoord: Ja en Nee. De meningen lopen uiteen. Eén deelnemer zegt dat het mag, als in het examenreglement staat dat internet mag worden gebruikt. Volgens een andere deelnemer mag het niet, omdat de student niet heeft verantwoord dat hij ChatGPT heeft ingeschakeld. Nelleke zegt dat het afhangt van wat je wilt toetsen. ‘Als je spelling wilt toetsen, is deze manier niet geschikt. Maar als je de tekst wilt inzetten om te achterhalen welke prompt de student heeft gebruikt en om daarover in gesprek te gaan, is dit juist een prachtige toetsvorm.’
Casus #2 Ontwerpen met Firefly
Vraag: Een student laat Firefly ontwerpen maken voor de inrichting van een ruimte. De student gebruikt een van de ontwerpen en maakt er vervolgens een eigen versie van, waarin het beeld van Firefly niet meer als zodanig herkenbaar is. Dat ontwerp komt terecht in het examenportfolio van de student’. Mag dat?
Antwoord: Ja. Student Wen vindt Firefly een heel handige AI-tool om inspiratie op te doen. Hij denkt dat het mag als je aangeeft dat je deze tool hebt gebruikt. Een van de deelnemers zegt dat je als docent bijna niet meer om dit soort AI-tools heen kunt en dat studenten er later in hun werk ook gebruik van zullen maken. Nelleke stelt dat er meer nadruk moet komen op het proces en niet alleen op het eindproduct.
Casus #3 AI-toepassing verplichten
Vraag: Een opleiding eist van studenten dat ze ChatGPT of een andere toepassing van generatieve AI gebruiken tijdens het werken aan een examenopdracht. Mag dat?
Antwoord: Ja en Nee. Volgens een deelnemer mag dat als het gebruik van AI onderdeel is van de beoordeling van het examen. Maar volgens een andere deelnemer mag het juist niet vanwege de privacy. JaapJan haakt daarop in door te vertellen dat je studenten op dit moment (nog) niet kunt verplichten om een account te nemen op een AI-tool vanwege de privacy.
Gedragscode
Na deze drie casussen staat Nelleke kort stil bij de wet- en regelgeving op het gebied van AI en examinering. Ze geeft aan dat er nog geen specifieke wetgeving is en dat het als school dus zaak is om binnen de huidige regels te kijken hoe je examens betrouwbaar kunt afnemen. Dat is een mooi bruggetje naar de gedragscode en richtlijnen van SintLucas. Joke vertelt dat ze afgelopen zomer een artikel in de krant las over AI en examens en toen besloot: daar moeten wij als school wat mee. Joke klopte aan bij het college van bestuur en kwam in contact met Erno. In eerste instantie keken ze samen hoe je regels kunt maken rond het gebruik van AI, maar uiteindelijk kwamen ze tot de conclusie dat het weinig zin heeft regels op te stellen als het niet gedragen wordt in het onderwijs en studenten er niet van weten. Dus geen regels en beleid, maar het moet in het DNA van de studenten en docenten terecht komen.
[Bekijk hier het videofragment]
Samen ontwikkelden ze een gedragscode voor het gebruik van generatieve AI en richtlijnen voor AI en examinering. Erno legt uit dat er twee versies zijn van de gedragscode: één voor studenten en één voor docenten. Belangrijke aspecten uit de gedragscode zijn: persoonlijke verantwoordelijkheid van de student, vakmanschap, creativiteit en eigenheid staan centraal, transparantie, respect, kritisch en verantwoord gebruik. Wen denkt dat deze gedragscode zeker kan helpen om te leren hoe je AI nu goed kunt gebruiken in je studie.
[Bekijk hier het videofragment]
Richtlijnen
Joke somt de belangrijkst punten op van de richtlijnen voor het gebruik van AI bij toetsing en examinering: zelfverantwoordelijkheid, authenticiteit, transparantie, afnamecondities, auteursrecht en ethisch verantwoord gebruik van AI. Een deelnemer vraagt zich af hoe een student bij bestaande examens kan weten of hij AI mag gebruiken. Joke antwoordt dat het wellicht een optie is om een disclaimer toe te voegen aan bestaande examens waarin staat hoe studenten AI mogen gebruiken. Een andere deelnemer vertelt over een casus waarbij een student bleef ontkennen dat hij AI had gebruikt, terwijl zij heel duidelijk kon zien dat hij wél AI had gebruikt. Joke adviseert om in dat soort gevallen in gesprek te gaan en af te tasten of de student wel de kennis heeft die hij zou moeten hebben. Verder geeft een van de deelnemers aan dat zij de examens niet zelf maken zoals SintLucas, maar inkopen bij een leverancier. En dat ze dus ook niet zomaar iets kunnen wijzigen of toevoegen. Volgens Joke leeft deze vraag ook volop in het netwerk voorzitters en secretarissen examencommissies (NEC). ‘We gaan hierover in gesprek met examenleveranciers’.
[Bekijk hier het videofragment]
Toetsvormen
Erno geeft enkele voorbeelden van andere toetsvormen, zoals assessments, portfolio-examinering, internetvrije toetsvormen en procesbeoordeling. Een van de deelnemers vraagt zich af wat het gebruik van generatieve AI doet met het leervermogen van studenten. Erno deelt die zorgen, vooral als het gaat om de creativiteit van studenten. Maar daarom is het volgens hem ook zo belangrijk om hierover met studenten in gesprek te gaan. Een andere deelnemer vraagt of je AI kan gebruiken voor toetsbeoordelingen. Volgens Joke kan dat zeker, maar is het wel heel belangrijk om het oordeel van AI altijd te checken. ‘AI is ondersteunend, maar niet beslissend’.
[Bekijk hier het videofragment]
Amber de Wilde van SURF wil weten wat de deelnemers nodig hebben rondom dit thema. In de chat worden de volgende punten opgesomd: passende scholing/professionalisering docenten, landelijke handreiking en training, voorbeeldmodules voor verantwoord en ethisch gebruik door studenten, prijsafspraken met Microsoft over Copilot. Amber stelt voor om een werksessie te organiseren om deze punten verder uit te werken. JaapJan pakt dit op. Tot slot wijst JaapJan nog even op het netwerkplatform data en AI van Npuls. Ook vertelt hij dat de volgende Datadinsdag op 14 mei is, maar dat het onderwerp nog ter discussie staat. Daar komt hij nog op terug.
Doe je mee?
Elke tweede dinsdag van de maand is JaapJan Vroom te gast bij een mbo-school om vanaf daar samen met de school een anderhalf uur durende (online)meeting te verzorgen. Heb je een mooi initiatief of vraag over data-ondersteund onderwijs of wil je een Datadinsdag verzorgen vanuit jouw school? Stuur een mail naar JaapJan Vroom en kijk voor meer informatie op onze Datadinsdag-pagina.
Volgende Datadinsdag
De eerstvolgende Datadinsdag is op 14 mei 2024 van 10.30 tot 12.00 uur. Het onderwerp maken we binnenkort bekend.