Blog #5 Joël de Bruijn: AI voor BI

Joël de Bruijn is op de jaarlijkse BI-dag van MBO Digitaal met de gebruikersgroepen Qlik en DPO. Het thema is AI voor BI. ‘Actueel en een logisch verband natuurlijk.’

Maurice Taekema van cumlaude.ai neemt ons mee aan de hand van de vragen: Hoe verschilt Generatieve AI van andere klassieke vormen van AI en wat is een AI-Agent? Hij wil eigenlijk voorkomen dat we in het woud van AI-tooltjes net de boot missen en beschrijft daarvoor een aanpak. Daarin vertrek je vanuit je procesarchitectuur om zo een mapping te maken met tooling en de overweging te ondersteunen. Wat zet je waar zinvol in en waarom? Voor sommige processtappen blijven mensen 100 procent in de loop, enkele zouden overgenomen kunnen worden met AI en andere zijn meer hybride. Ondersteunen versus overnemen door AI. Het sluit voor mij wel aan bij de gedachte dat ‘AI’ op zichzelf nog niks is, het wordt pas interessant als je het kunt toepassen in samenhang met de rest van je applicatielandschap en het de procesketens adequaat ondersteunt. In die zin is het zelfs klassieke en nog steeds noodzakelijke ‘alignment’ tussen bedrijfsprocessen en applicatiefunctionaliteit. Tooltjes zijn niet ineens interessant omdat er AI op geplakt is, is mijn stelling.

‘AI is op zichzelf nog ‘niks’, het wordt pas interessant als je het kunt toepassen in samenhang met de rest van je applicatielandschap’

Maurice geeft een demonstratie van een AI-agent die als een ‘persoon’ in je mail benaderbaar is en offertes beoordeelt. Maar alles begon met het uittekenen van de bestaande processtappen van klant, sales en het offerteam. Van al die activiteiten werd geanalyseerd welke zich lenen voor ondersteuning of zelfs complete uitvoering door AI. Pas daarna komt toolkeuze – omdat je nu pas weet wat het zou moeten kunnen. Het illustreerde wel de tekortkoming van generieke chatbots, zoals bekend voor de consument, aangezien deze AI-agent bijvoorbeeld bouwtekeningen kan beoordelen.
Vragen uit de zaal gaan over de kwaliteit, accuratesse en het hallucineren van AI. Terecht omdat dat onze ervaring is met open chatbots. Mijn indruk is dat het voorkomen kan worden als 1) de aanpak van hierboven een betere match maakt tussen procesactiviteit en gebruikte tooling. 2) De generiek getrainde modellen verder worden gefinetuned met veel documentatie uit een vakgebied. 3) Eenmaal in gebruik per ‘bevraging’ van AI ook de documentatie wordt meegeleverd die betrekking heeft op de specifieke opdracht, offerte of het project en 4) op de achtergrond gespecialiseerde agents meewerken die goed zijn in classificeren of in het interpreteren van bouwtekeningen. Al met al krachtig, maar dus ook mogelijk omdat specialistische kennis wordt meegegeven (van een heel vakgebied en per project).

‘Niels geeft een geruststelling mee: veel verplichtingen uit de AI Act gelden voor de ontwikkelaar en leveranciers’

Er zijn inmiddels talloze manieren om AI in te zetten, maar wat zegt de wetgeving hier eigenlijk over? Niels Dutij vertelt over de AI-Act en de belangrijkste wettelijke verplichtingen bij het werken met AI. Hij toont veel begrip voor ‘verdwalen in het regelgeving bos’, waar we in het vorige agendapunt verdwaalden in het tooling-woud. Er is op het gebied van productaansprakelijkheid, security en privacy al zoveel regelgeving, die dan ook nog eens wordt aangevuld met AI-thema’s. De Act vraagt om classificatie (met per stuk verschillende maatregelen natuurlijk) in: Verboden AI (onacceptabele risico’s voor gezondheid, veiligheid en fundamentele rechten), Hoog risico, beperkt en laag risico AI, General Purpose AI, Regulatory sandbox: voor het stimuleren van innovatie met behulp van testomgevingen die de overheid volgt.
Niels geeft ook een geruststelling mee: veel verplichtingen uit de AI Act gelden voor de ontwikkelaar en leveranciers. Voor de gebruiker zijn er veel minder, tenzij een het product in de categorie “hoog” valt. Dan is er een FRIA (Fundamental Human Rights Impact Assessment) nodig. Die moet je dus zelf uitvoeren, het risico is nu eenmaal afhankelijk van de context en toepassing.

‘De casus betrof geautomatiseerde mondelinge examinering waarin de student spreekt en het AI platform tot een score komt’

De zaal veerde op toen het ging over hoog risico in het onderwijs en een casus. De gebieden voor hoog risico zijn: 1) Toegang, toelating en toewijzing van onderwijs. 2) Evalueren van leerresultaten en sturen van het leerproces. 3) Beoordelen van het passend onderwijsniveau. 4) Monitoren en detecteren van ongeoorloofd gedrag tijdens toetsen. De casus betrof geautomatiseerde mondelinge examinering waarin de student spreekt en het AI platform tot een score komt. De docenten en examinatoren krijgen enkel de uitslag en hebben geen toegang tot het gemaakte werk. Dit leverde onder de AVG natuurlijk al problemen op en zouden een DPIA vergen. De AI Act toepassend, dan zijn de risico’s: 1) Recht op gelijke behandeling: is er bias in het model (accenten, taalgebruik of spraakstoornis). 2) Worden kwetsbare groepen benadeeld 3) Rechtmatige verwerking: er is sprake van geautomatiseerde besluitvorming, is het transparant, inzichtelijk en kunnen gegevens verwijdert worden? 4) Recht op een eerlijk proces: kunnen studenten hun beoordeling inzien en aanvechten? Is er menselijke controle voordat beslissingen definitief zijn?
Zo klonk een FRIA maken eigenlijk niet zo heel moeilijk, dus dat zouden we vaker moeten doen en dan tegelijk samen…

‘De analyse van beschrijvende en diagnostische functies verschuift naar voorspellende en prescriptieve intelligentie’

Ed de Feber (Talland College) vertelt in het volgende onderdeel over generatieve BI. Volgens hem verschuift de analyse van beschrijvende en diagnostische functies naar voorspellende en prescriptieve intelligentie. Pro-actief kunnen anticiperen dus. Hij ziet toepassingen voor: 1) Gepersonaliseerd leren: tijdens het gesprek genereert BI systeem het dashboard specifiek voor de situatie van de student. 2) Voorspellende begeleiding: vroegsignalering van risico op uitval, waarbij BI + AI patronen detecteert. 3) Procesoptimalisatie: efficiëntiewinst tijdens het maken van BI rapportages, dashboards en overzichten.

Kwaliteit van de data, duidelijke afspraken over privacy en training (data-geletterdheid) blijven randvoorwaardelijk. Ed geeft een demo van een zelf ontwikkeld systeem (op basis van fictieve studentdata). Wat het vooral illustreert is dat je laagdrempelig ‘op gang kan komen’, ervaring kan opdoen en eigenlijk niet hoeft te wachten. Hij is voornemens zijn code te delen (combinatie van python en andere systemen).

De ochtend wordt afgesloten door JaapJan Vroom en een demo van EduGenAI.