Een volledige interface zoals ChatGPT moet je je er niet bij voorstellen, en ook geeft het model niet thuis als je het vraagt om een recept voor lasagne. Op dit moment is het vooral programmeercode die in beeld verschijnt. Ergens in de code staat de tekst die je normaal in het tekstvakje van de chatbot zou invullen. Daar staat: “Een interessant onderzoeksonderwerp zou zijn…”. Elke keer als het programma gestart wordt, geeft het een ander aanvulling op die zin. Soms een verrassend interessant onderwerp, vaker abracadabra.

Beetje nerveus

‘In veel opzichten staat [ChatGPT] haaks op wat we studenten willen leren’

Michele Murgia

Het idee voor het taalmodel ontstond in november 2022 in de hoofden van initiatiefnemers João Gonçalves en Michele Murgia. De hype rond ChatGPT was op zijn hoogtepunt en ook Gonçalves en Murgia hadden het erover onder het genot van een kopje thee. “Iedereen was een beetje nerveus, en wij vonden ook dat we er ‘iets’ mee moesten doen”, vertelt Murgia. Gonçalves: “Dus toen gingen we nadenken hoe het in de minor AI and societal impact ingepast kon worden.”

Al snel constateerde Murgia, nu projectleider van het Erasmus Language Model (ELM), dat ChatGPT niet het beste voorbeeld was waarmee hij de studenten wilde confronteren. “In veel opzichten staat dat project haaks op wat we studenten willen leren. Het is een groot commercieel bedrijf, we hebben geen inzicht in hoe het model van binnen werkt en het is een energieslurpend systeem. Dus toen heb ik João – vrij naïef – gevraagd of wij niet zelf iets konden bouwen.”

Tweeduizend keer kleiner

Gonçalves gaf toen al zo’n drie jaar colleges over kunstmatige intelligentie en is nu de academic lead van ELM. “In die colleges probeer ik uit te leggen wat de technische en maatschappelijke aspecten van AI zijn.” Hij ziet niet snel beren op de weg en ging aan de slag. Als basis gebruikt hij Llama-2, een deels open source taalmodel dat ontwikkeld is door Meta, het moederbedrijf van Facebook. GPT-4, het onderliggende model van ChatGPT, kon hij niet gebruiken: dat is niet openbaar.

Het doel van ELM is niet om een equivalent van ChatGPT te ontwikkelen: dat zou veel te ambitieus zijn. Om een idee te geven: het taalmodel van de EUR heeft nu 900 miljoen ‘parameters’. Parameters zijn instellingen van het taalmodel die woordbetekenis, grammatica of andere contextuele aanwijzingen bevatten. GPT-4 heeft er 1760 miljard, ongeveer tweeduizend keer zoveel als ELM.

Haatzaaiende teksten

Toch is ELM er niet voor spek en bonen. “De toekomst ligt in specifieke taalmodellen, denken wij. ChatGPT weet ‘alles’, en werkt daardoor met een enorm taalmodel. ELM is alleen gevoed met de publicaties van EUR-onderzoekers, en weet dus niks van lasagne maar alles van door de EUR gepubliceerde wetenschap. Daardoor is het taalmodel veel lichter, en kost een zoekopdracht veel minder energie. Dat maakt het duurzamer”, legt Gonçalves uit. Ter vergelijking: het trainen van GPT 3.5 kostte 552.000 kilo CO2. ELM kostte daarentegen 11 kilo. Op termijn moet ELM geschikt worden voor wetenschappelijke vragen, waarbij de antwoorden betrouwbaarder zijn dan bij generieke taalmodellen.

Een ander voordeel is dat antwoorden minder vooringenomen zouden moeten zijn. “Er gaat alleen wetenschap in. Ook is ELM minder Amerikaans georiënteerd. ChatGPT wil bijvoorbeeld weleens Amerikaanse antwoorden geven op Nederlandse juridische vragen.” Toch steekt Gonçalves er zijn hand niet voor in het vuur dat ELM nooit ‘racistische’ taal uit zal slaan, zoals eens bij een presentatie van een Google-taalmodel gebeurde. “EUR-wetenschappers doen ook onderzoek naar oude, soms racistische documenten, dus die kan ELM ook reproduceren.”

Tegelijkertijd is ELM minder gecensureerd dat ChatGPT. Gonçalves: “Bij ChatGPT zijn haatzaaiende teksten bijvoorbeeld niet toegestaan in de beantwoording. Wij willen dat onderzoekers alles kunnen onderzoeken, ook haatzaaiende teksten. In de antwoorden zoeken we daarom naar een balans tussen die academische vrijheid en het tegengaan van haatzaaien.”

De reis is het doel

Uiteindelijk doet het er voor Gonçalves en Murgia niet zoveel toe of ELM als chatbot een doorslaand succes wordt en ChatGPT op bepaalde terreinen kan beconcurreren, de reis ernaartoe vinden ze veel belangrijker dan de bestemming. Samen met de studenten ontwikkelen ze het taalmodel en vogelen ze uit hoe het werkt. “Het is een hele interessante leerervaring, voor alle betrokkenen”, zegt Gonçalves. Ook hoopt hij dat het gemeenschappelijke ontwikkelproces, samen met de studenten, een voorbeeld is voor volgende projecten.

Het Erasmus Language Model wordt op maandag 9 oktober gelanceerd. Het kan op verzoek gebruikt worden door docenten en onderzoekers. En wat voor advies geeft ELM als het gevraagd wordt naar een recept voor lasagne? “Ik heb dit nog niet eerder geprobeerd, het zou cool zijn als het werkt”, zegt Gonçalves ietwat nerveus. “Lasagna is made of…” voert hij in. Na enig nadenken antwoordt het elektronisch orakel: “Lasagna is made of a series of the local village in West Sundow.” Er is nog een weg te gaan.

ChatGPT-coding-AI-artificial intelligence-Femke Legué

Doe mee aan ons onderzoek

Hoe bruikbaar is ChatGPT voor jouw studie? Vul de enquête in!

Vul deze korte enquête over ChatGPT in en help ons mee in ons onderzoek.