Datadinsdag bij VISTA college: Learning Analytics in het onderwijsontwerp

JaapJan trapt af met de mededeling dat de Npuls pilothub Studiedata en AI per 1 januari een transformatiehub wordt. Een transformatiehub geeft veel meer mogelijkheden dan een pilothub om bijvoorbeeld grotere infrastructurele datazaken landelijk op te pakken. Als introductie op het thema van deze datadinsdag gaat JaapJan vijf jaar terug in de tijd. “Bij de start van Doorpakken op Digitalisering in 2019 keken we naar de enorme berg met data die er in de scholen ligt en vroegen we ons af: wat kunnen we met al die data? Maar dat is niet de juiste vraag. De juiste vraag is: Wat willen we precies weten en welke data hebben we daarvoor nodig? Dat hangt natuurlijk ook van je rol af. Een student wil bijvoorbeeld weten wat zijn vorderingen zijn en een ontwikkelaar hoe de kwaliteit van het lesmateriaal is.”

Bewustwording creëren rond Learning Analytics

De vraag wat je wilt weten hoort zeker thuis in het onderwijsontwerp. Juist daar moet je die vraag stellen, zodat je er in het ontwerp van jouw onderwijs al rekening mee kunt houden. Wil je alleen een toets afnemen of wil je op meer plekken bepaalde dingen meten? Een manier om docenten en andere onderwijsontwikkelaars te leren hoe je in het onderwijsontwerp rekening kunt houden met Learning Analytics, is door met hen het spel FoLA2 van Marcel Schmitz te spelen. Doel van dit spel is bewustwording rondom Learning Analytics creëren. Het spel kan gebruikt worden om leeractiviteiten te ontwerpen, maar ook om gedragsindicatoren van student en/of docent te verzamelen. Het VISTA college heeft FoLA2 gespeeld en Roald vertelt wat dat heeft opgeleverd voor het onderwijsontwerp: “VISTA gebruikte al wel Learning Analytics maar niet om het lesontwerp te analyseren, te evalueren en te verbeteren. En ook niet om studenten de mogelijkheid te bieden om hun leerprocessen aan te passen. Daarom hebben we dit spel gebruikt voor een ICT-opleiding. Het spel bestaat uit didactiekkaarten, interactiekaarten, technologiekaarten en ‘wat willen we weten’-kaarten. Je ontwerpt met de kaarten een les én denkt na over in te bouwen datapunten. Je werkt dus echt met z’n allen samen aan het ontwerpen van leeractiviteiten.”

Databewustzijn

Collega’s van de ICT-opleidingen van VISTA hadden twee punten waar ze aandacht aan wilden besteden: ‘kritisch denken’ en ‘voel je gehoord’. Met behulp van Learning Analytics is in kaart gebracht hoe het daarmee staat. Roald vertelt dat je eerst in het ICT-landschap van de instelling gaat kijken naar applicaties die je kunt inzetten om die gewenste data te produceren. Bijvoorbeeld door een quiz in het LMS te gebruiken, een Forms-formulier te gebruiken of een Xerte-oefening aan te bieden. Specifiek voor ‘kritisch denken’ heeft VISTA een ‘Plus Een’-applicatie ontwikkeld, waarmee docenten door het lokaal kunnen lopen en op een plusje kunnen klikken als ze signalen van ‘kritisch denken’ zien. Zo hoef je de studenten niet te overspoelen met enquêtes. Roald: “Door al deze data weten docenten dus of studenten kritisch denken en kunnen ze eventuele verbeterpunten meenemen in volgende lesontwerpen.” Het is volgens Roald nog echt work in progress. Op dit moment is er nog een ‘wizard’ nodig die de datadashboards vult, zoals bijvoorbeeld een datascientist. Ook is het belangrijk om te beseffen dat de cyclus van onderwijsontwerp en Learning Analytics in verschillende contexten kan worden toegepast. En dat deze cyclus voor elke cursus anders is.

VISTA-jasje

Ayk vertelt hoe FoLA2 concreet vorm krijgt in de onderwijspraktijk van VISTA college: “We zijn al een tijd bezig met de implementatie van onze onderwijsvisie, waarin flexibilisering een grote rol speelt. Om onze onderwijsteams daarbij te ondersteunen ontwikkelden we werkateliers curriculumontwerp, een toolkit onderwijsontwerp voor docenten en een getrainde ChatGPT om bijvoorbeeld leeruitkomsten te formuleren.” Flexibiliseren gaat gepaard met digitaliseren. Dat biedt kansen om het leerproces van de student te optimaliseren en tegemoet te komen aan de kaders van de onderwijsvisie van VISTA. Ayk legt uit dat ze steeds meer data vastleggen, maar dat het gesprek met docenten over data en databewustzijn vanuit het onderwijsontwerp nog een beetje ontbrak. Dus bijvoorbeeld de vraag: hoe gaat het eigenlijk met mijn studenten? Kan ik daar een rode draad in ontdekken? En hoe kan ik mijn studiemateriaal daarop aanpassen? Daarom is VISTA een jaar geleden gestart met FoLA2. “Het spel geeft de ruimte om vanuit verschillende kanten naar data in het onderwijs te kijken, zoals vanuit de didactiek, de leeruitkomst, de toetsing, de leeractiviteit, de rollen in het onderwijs of de gewenste data. Het vertrekpunt is echter altijd het onderwijsontwerp, waardoor het herkenbaar is voor de docent of de onderwijsontwikkelaar.” FoLA2 is onderdeel geworden van de toolbox van de blended coaches en ondersteunt de implementatie van de onderwijsvisie. Wel is het spel volgens Ayk na een jaar wel toe aan een update, door de verandering van het IT-landschap en de verdere concretisering van de onderwijsvisie.

Dasboard op maat

JaapJan vertelt dat SURF een jaar of vijf geleden heeft onderzocht hoe je zonder gebruik te maken van specifieke applicaties, toch data uit de studentjourney kunt halen. Stel: je wilt weten hoe vaak een video bekeken is. Je plaatst dan een zogenaamde ‘embedded code’, waarmee je de leeractiviteit kunt meten. In een visualisatie kun je daar dan zicht op krijgen, naast alle andere zaken waarvoor je een code hebt geplaatst. Een dashboard op maat dus. Meer informatie is te vinden in deze wiki van SURF. Ook haalt JaapJan het onderzoek van Irene Eegdeman aan: “Irene heeft een methode ontwikkeld om op basis van data uit het onderwijsproces met behulp van AI te voorspellen welke studenten risico lopen op uitval. Vervolgens kan de docent die studenten uitnodigen voor een gesprek. Daar heb je wel goede data voor nodig en je moet ook zorgen dat je de data op een goede manier verzamelt. Om AI te gebruiken moet je dus eerst met je data aan de slag. AI kan niet zonder data. Met FOLA2 kun je bepalen waar je die data vandaan kunt halen en waar je welke datapunten moet inbouwen.”

Digitale versie

Een deelnemer vraagt naar een makkelijker manier om de resultaten te verwerken. Ayk zegt dat zij dat tot nu toe op papier doen, op basis van een degelijke evaluatie van de methode. Belangrijke vragen daarbij zijn: ‘Welke inzichten heeft dit ons opgeleverd? Wat betekent dit, bijvoorbeeld voor ons onderwijsontwerp? Wat gaan onze concrete vervolgacties zijn?’ Roald vult aan dat het werken met papier ook juist de kracht is van het fysieke spel. Wel wordt in Duitsland gewerkt aan een digitale versie. Aangezien er nog veel meer over te vertellen valt, gaan ook de volgende twee datadinsdagen over Learning Analytics en onderwijsontwerp.