Hoe AI onzin als waarheid presenteert
Stel je voor: je hebt last van je ogen. Ze jeuken, zijn wat rood en voelen droog aan. Je vraagt een AI-chatbot wat er aan de hand kan zijn. Het antwoord: Bixonimania. Een zeldzame aandoening die zou ontstaan door te veel blauw licht. Inclusief wetenschappelijke artikelen, cijfers en behandeladviezen.
Er is alleen één probleem: Bixonimania bestaat helemaal niet.
Onderzoeker Almira Osmanovic Thunström bedacht de nepziekte om te testen hoe AI-modellen omgaan met informatie die er geloofwaardig uitziet, maar complete onzin is. En dat ging verrassend makkelijk. Zodra er een paar nepbronnen online stonden, begonnen AI-systemen de ziekte zonder twijfel als feit te presenteren.
Wat het extra opvallend maakt, is dat de nepbronnen vol zaten met duidelijke aanwijzingen dat het om een grap ging. De artikelen stonden op naam van Lazljiv Izgubljenovic, wat vrij vertaald neerkomt op iets als ‘leugenachtige verlorene’. In de dankwoorden werd de Starfleet Academy genoemd en zou het onderzoek zijn uitgevoerd aan boord van de USS Enterprise. Ook werd verwezen naar de Professor Sideshow Bob Foundation als financier.
Voor de meeste mensen zijn dat duidelijke signalen dat er iets niet klopt. Toch namen verschillende AI-systemen de informatie serieus. Binnen korte tijd gaven onder andere Copilot, Gemini en ChatGPT medisch advies over een ziekte die nooit heeft bestaan.
Het experiment laat zien dat AI niet bepaalt wat waar is, maar vooral kijkt naar wat waarschijnlijk klinkt. Als iets vaak genoeg online staat en eruitziet als een betrouwbare bron, dan neemt een AI-model het sneller over.
Misschien nog gekker is dat ook echte onderzoekers Bixonimania begonnen te noemen in serieuze artikelen. Niet omdat ze zelf bewijs hadden gevonden, maar omdat AI de referenties had aangedragen en niemand blijkbaar de moeite nam om even verder te kijken.
En dan hebben we het niet over subtiele hints. In de nepstudies werd verwezen naar de Starfleet Academy, de USS Enterprise en zelfs de Fellowship of the Ring als universiteit en financier. Dat is ongeveer hetzelfde als een onderzoek serieus nemen omdat het is goedgekeurd door Zweinstein en betaald door Willy Wonka.
Toch trapten zowel AI-systemen als sommige onderzoekers erin. En dat maakt dit verhaal minder grappig dan het lijkt.
Erdinç Saçan geeft les aan Fontys Hogeschool ICT en is AI-expert. Vorig jaar verscheen van hem het boek AI voor Iedereen. Lees hier zijn eerdere columns voor Bron.