Toen ChatGPT eind november gelanceerd werd, wilde ik niet over deze met veel bombarie ontvangen chatbot schrijven. Dat was vooral omdat ik in deze columns niet wil reageren, maar reflecteren. In een krant een mening geven over een hype die gaande is, is dan al gauw een valkuil. Overduidelijk ben ik van gedachten veranderd, en dat komt door de artikelen die er in Trouw over ChatGPT verschenen zijn. Die vertelden u namelijk niet wat u wel moet weten: ChatGPT is echt heel dom en volkomen onbetrouwbaar.

Toegegeven, die uitspraak is niet helemaal correct. Het woord ‘dom’ doet lijken dat er toch enige intelligentie achter ChatGPT zit, alleen heel weinig. Wat ik bedoel is dat het ChatGPT totaal aan intelligentie ontbreekt.

Dat is goed te zien als ChatGPT gevraagd wordt om een potje te schaken. Meteen na de eerste zet begint het in assertieve taal allerlei onzin uit te kramen. Ook mensen die niet kunnen schaken zullen direct begrijpen dat het softwareprogramma niet begrijpt wat het aan het doen is. Zo zag ik een spel waarin ChatGPT zei dat het als eerste zet de pion op het veld e2 naar e4 speelt (niets mis mee), maar daarna een bord laat zien waarop alle pionnen nog op hun startvelden staan en er magisch een nieuwe pion op a4 (niet e4) verschenen is. Foutje, kan gebeuren?

Het ging van kwaad tot erger. In de volgende beurt deed ChatGPT drie eigen zetten achter elkaar (voor de schakers: paard naar f3, loper naar g2 en de korte rokade). Het is uiteraard volledig tegen de regels in om meerdere zetten in één beurt te doen, maar het gaf bij deze beurt als commentaar dat dit gebruikelijk is in het schaken omdat “het de koning in veiligheid brengt”.

“Oké”, denkt u misschien, “ChatGPT kan niet schaken. Nou en? Het kan andere dingen wel. Bovendien kunnen veel mensen ook niet schaken, die zijn toch ook niet gelijk dom?” Dat klopt. Het gaat er niet om dat ChatGPT fouten maakt, maar om wat de fouten laten zien over hoe de technologie erachter werkt. Informatici noemen softwareprogramma’s als ChatGPT large language models. Zo’n programma wordt gemaakt door het te voeden met astronomische hoeveelheden tekst. Op basis van die teksten wordt er een model opgebouwd van woorden die elkaar waarschijnlijk horen op te volgen. ChatGPT is dus een plausibele-zinnen-generator. Die zinnen worden geproduceerd zonder begrip van de gebruikte woorden, maar met behulp van dat onvoorstelbaar uitgebreide statistische model van die woorden.

Dit is terug te zien in de fouten die ChatGPT maakt. Die drie schaakzetten die het in één beurt probeerde te doen? Die combinatie van zetten is zo gebruikelijk dat ze door ervaren schakers vaak achter elkaar genoemd worden om beginnende spelers een makkelijke manier te leren om hun koning in veiligheid te brengen. ChatGPT produceerde een ‘plausibele zin’, maar liet gelijk zien dat het de informatie in die zin niet begrijpt.

Van dit gedrag zijn er online honderden, zo niet duizenden, subtiele en expliciete voorbeelden te vinden in allerlei kennisgebieden. Het gedrag is helaas inherent aan de technologie zelf en is precies wat ChatGPT volkomen onbetrouwbaar maakt. Ook wanneer het erop lijkt dat het een onderwerp ‘begrijpt’, is dat niet meer dan een indrukwekkende illusie. Val dus niet voor de hype, want deze illusie is gevaarlijk als u het niet doorziet.

Ilyaz Nasrullah is consulent digitale strategie. Hij schrijft om de week een column voor Trouw. Lees ze hier terug.