Docent bouwt AI-tool die studentgegevens naar ChatGPT stuurt

Vandaag om 20:30 • Aangepast vandaag om 22:00

Een docent van onderwijsinstelling Fontys in Eindhoven heeft collega’s aangemoedigd om persoonlijke gegevens van studenten te uploaden naar de AI-dienst ChatGPT, en dit mogelijk ook zelf gedaan. Dat is in strijd met de privacywetgeving. Het gebeurde via een tool die hij zelf ontwikkelde. De docent ontkent eerst, om daarna te melden dat het alleen om zijn eigen data ging: "Ik ben zelf namelijk ook student."

Profielfoto van Wim Heesterbeek
Geschreven door

De docent, werkzaam bij de opleiding ICT en Software Engineering, ontwikkelde een tool om studentenportfolio’s snel te analyseren en doorzoekbaar te maken. In zulke portfolio’s beschrijven studenten hun voortgang, verbeterpunten en reflecties op het leerproces. Vaak gaat het om persoonlijke en soms gevoelige informatie.

Testen met echte portfolio's
Op LinkedIn schreef de docent twee weken geleden enthousiast over zijn tool. Hij stelde dat het om een ‘lokale AI-tool’ ging en riep collega’s op om ermee te testen. Die reageren enthousiast, op een enkele kritische reactie na. In reacties schreef hij zelf dat hij de tool ‘in de praktijk test met echte portfolio’s’.

Maar de claim blijkt onjuist. De AI draaide niet lokaal op zijn computer, maar op de servers van OpenAI, het Amerikaanse bedrijf achter ChatGPT. Op een website waarop hij de ontwikkeling van de tool beschrijft, erkent de docent dit later zelf: ‘De tool werkt nu met OpenAI. Dit is een probleem voor de privacy.’ Hij zegt dat hij dit wil aanpassen, maar door zijn eerdere berichten is het aannemelijk dat er studentinformatie naar OpenAI is verstuurd.

Een screenshot van de tool.
Een screenshot van de tool.

Niet de eerste privacykwestie

Het is niet de eerste keer dat een grote instelling gevoelige informatie naar AI-diensten zoals ChatGPT stuurt. Eind vorig jaar bleek dat ambtenaren van de gemeente Eindhoven gegevens van kwetsbare inwoners hadden geüpload naar een AI-tool.  De gegevens weer laten verwijderen door OpenAI, bleek een kansloze missie te zijn.

Ook Fontys kwam eerder in het nieuws vanwege een privacyprobleem. In april vorig jaar waren honderden zeer gevoelige bestanden, waaronder medische gegevens, eenvoudig toegankelijk voor onbevoegden.

‘Niet te vertrouwen’
Professor Johan Jeuring van de Universiteit Utrecht geeft leiding aan het Nationaal Onderwijslab AI, dat AI-toepassingen voor het onderwijs ontwikkelt en onderzoekt. “Dit klinkt niet best”, is zijn eerste reactie op de tool van de docent. “Voor deze toepassing OpenAI gebruiken mag gewoon niet volgens de wet, de AVG verbiedt dit.”

“Soms vind ik de AVG overdreven streng, maar in dit geval niet”, zegt Jeuring. Portfolio’s zijn per definitie persoonlijke documenten, en niemand weet wat OpenAI met die informatie doet, of nog kan doen in de toekomst. “Je kunt OpenAI simpelweg niet vertrouwen.”

Hij gaat uit van goede bedoelingen bij de docent, maar benadrukt: “Je mag wel experimenteren, maar altijd volgens de ethische voorwaarden en de wet. Een tool als dit zou dan lokaal moeten draaien en niet met OpenAI moeten werken.”

Reactie docent
De docent laat aan Omroep Brabant weten dat zijn tool ‘volledig lokaal’ werkt. Na doorvragen zegt hij dat OpenAI inmiddels niet meer standaard wordt gebruikt, al kunnen gebruikers die optie nog wel aanvinken. “Het issue is opgelost,” stelt hij. Enkele uren later pas verschijnt een update  van de tool.

Ook ontkent hij eerst dat studentendata is geüpload, ondanks zijn eerdere LinkedIn-bericht. Later zegt hij dat het ging om zijn eigen portfolio’s. "Ik ben zelf ook student."

Reactie Fontys
Fontys laat weten dat experimenteren met AI binnen de instelling normaal is, maar dat het uploaden van studentgegevens naar OpenAI niet is toegestaan. 

Fontys is ervan overtuigd dat er geen echte studentgegevens zijn geüpload: er zou alleen een 'testportfolio, zonder persoonsgegevens van echte studenten' zijn gebruikt. Hoe ze dat zeker weten? Volgens de school heeft de docent dit zo verklaard. Controle is niet mogelijk. “We geloven hem,” laat de instelling weten.

Opvallend is dat een technisch medewerker van Fontys vervolgens meldt dat het gevaar van OpenAI vaak overdreven wordt. "Dat is een groot misverstand in de samenleving. OpenAI zegt zelf dat ze bestanden maar korte tijd opslaan, en dan weer verwijderen." Hij geeft aan geen reden te hebben om daaraan te twijfelen.

App ons!

Heb je een foutje gezien of heb je een opmerking over dit artikel? Neem dan contact met ons op.