Studenten ontwikkelen een ChatGPT detector

Drie studenten van Fontys ICT hebben een tool ontwikkeld die het gebruik van ChatGPT ontdekt in teksten. Niet alleen dat: het drietal gaat er een educatieve tool van maken die gratis aan het onderwijs wordt aangeboden. “Het gaat ons niet om de detectie, maar om de didactische waarde ervan.”

De afgelopen tijd is er veel te doen om ChatGPT en daarop lijkende ‘broertjes en zusjes’. Met dit soort Artificial Intelligence apps en tools kunnen scholieren, studenten, journalisten of wie dan ook simpelweg een paar vragen stellen waarop zo'n AI-app er een keurige tekst van maakt. Een bedreiging voor het onderwijs, klonk het de afgelopen weken. Leer er maar mee om te gaan, zeiden anderen, want dit is de toekomst.

Dat denken Ruben Fricke, Niek van Dam en Max van Hattum  ook.  'Detectoren’ voor ChatGPT zijn er inmiddels elders in de wereld al meerdere gefabriceerd. Maar zover bekend zijn de drie Fontysstudenten de eersten die in Nederland zo'n detector ontwikkelden. 

Meer dan een ‘nakijker’
Ruben, Niek en Max zijn vierdejaars studenten ICT in Eindhoven. Max rondt zijn studie over enkele weken al af, Ruben en Niek als alles goed gaat aan het einde van dit studiejaar. Ondertussen zijn ze met hun startup OpenMaze al flinke stappen aan het zetten. Ze verhuren zichzelf al voor consultancy en research & development klussen. Maar betere reclame dan de ChatGPT Detector die ze juist online hebben gezet is op dit moment nauwelijks denkbaar.

Toen zij als opdracht voor hun studie aan de slag gingen met het maken van een tool die kan ontdekken of tekst door een AI is gegenereerd, stelden hun coachen en docenten dat ze verder moesten gaan dan dat: maak er iets van waar docenten echt iets aan hebben, iets dat meer is dan alleen maar een detectiemiddel. Meer dan een nakijktool die slechts het oordeel velt: dit is niet jouw tekst maar een door AI gegenereerde tekst. En dan ook nog in het Nederlands.

"Daar zijn we nu druk mee bezig", zegt Niek. “Zo’n detector ontwikkelen is één ding. Maar voor de Nederlandse taal én met die toegevoegde educatieve waarde, dat is wel een heel andere draak die we nu moeten temmen."

Want, zo legt hij uit,  voor zo'n tool zijn ontwikkelaars afhankelijk van de data die zij tot hun beschikking hebben. "In het Engels is die er voldoende, in het Nederlands is dat nog wel een uitdaging. En dan is het moeilijker om een beginpunt te zetten. Maar daar zijn we druk mee aan de slag. Net als met het vergaren van data die mogelijk maakt dat je er voor educatieve doeleinden ook echt iets aan hebt.”

Valideren
Doel is dat een docent straks de dialoog kan aangaan met een scholier of student over de tekst die zij via een ChatGPT hebben laten fabriceren. “Zodat je op een andere manier hun kennis kan valideren. Dan gaat het dus niet om het checken van een jaartal of een naam, maar of de leerling of student de achterliggende kennis ook echt heeft.” Zeg maar, het verschil tussen multiple choice en open vragen? “Ja, precies. En dan is er eigenlijk zelfs sprake van een veel efficiëntere toetsing.”

Niek geeft wel toe dat dit een worsteling is, maar ze zijn al ver op weg met het verbeteren en uitbouwen van de tool. “We kunnen straks de docent een samenvatting van de tekst geven en de belangrijkste ‘takeaways’ daaruit.  En aanvullend de vragen die je kunt stellen op basis van de aangeleverde tekst. En dat wordt dan aangevuld met de kennis waarover de docent zelf al beschikt.” [Jan Ligthart]