Ik liet ChatGPT mijn werk overnemen, en het resultaat valt behoorlijk tegen

Aan een artikel werken er bij EM minstens vier mensen: een journalist die het verhaal schrijft, een fotograaf of illustrator die het beeld maakt onder de begeleiding van een beeldredacteur, en een eindredacteur die tijdens het proces meekijkt en het verhaal nakijkt voor publicatie.

Voor het verhaal ‘Erasmus X: Innovatie in Onderwijs’ neemt kunstmatige intelligentie de rol van journalist en illustrator op zich. Beeldprogramma Midjourney maakt de illustratie, terwijl de keuze voor het maken van het artikel op ChatGPT-3.5 valt. Deze chatbotvariant is gratis, dus het meest laagdrempelig voor leken.

Ik upload de transcriptie (via Amberscript ook gemaakt met kunstmatige intelligentie) van het interview in ChatGPT en geef de bot de instructie om er een journalistiek artikel van te maken. Het resultaat was een tekst van elf alinea’s zonder citaten. Het ziet er zo saai uit dat het niet uitnodigend is om te lezen.

Ik voer een tweede prompt in: voeg citaten van Abel toe in de tekst. Wanneer ik in een derde instructie vraag of de chatbot wat informelere taal wil gebruiken, rollen er zinnen uit zoals: ‘…iets dat ze ChatGPT noemen, een vet coole technologie die misschien wel de schoolwereld kan opschudden’. Best wel geinig dat ChatGPT zichzelf cool vindt, maar het taalgebruik is te informeel voor een journalistiek artikel. Ik vraag er nog bij of ChatGPT tussenkopjes verzint, maar in plaats van tussenkopjes maakt de bot een wetenschappelijke hoofdstukindeling zoals in een scriptie. Dus het resultaat van de laatste twee prompts neem ik niet mee.

Gedurende het maakproces doet ChatGPT mij denken aan de titel van een oude hit van de rockband Scorpions: What you give, you get back. Precies wat je invoert, komt terug in het resultaat. ChatGPT is niet in staat de input in een context te plaatsen en zelf fouten te herstellen. Een van de voorbeelden is de spelfouten. Het woord ‘ChatGPT’ heeft het transcriptie-programma Amberscript niet goed verstaan, dus er staan ‘Chai BT’, ‘Chai tee’, ‘Tsjech pitty’ en ‘Chachapiti’ in de tekst. Ik laat deze fouten staan in de geüploade tekst, in de hoop dat de bot uit de context realiseert wat er had moeten staan en ze verbetert. Dit is helaas niet het geval. Ook taalfouten zoals samenstellingen die los geschreven zijn (voorbeeld: innovatie lab) neemt ChatGPT over.

Wat als eerst opvalt is dat ChatGPT menselijke trekjes probeert na te bootsen. Dit zie je in zinnen zoals: “Vanessa Abel, een enthousiaste vertegenwoordiger van Erasmus X, vertelt over hun strategische en verfrissende aanpak…”

De chatbot strooit met bijvoeglijke voornaamwoorden zoals ‘enthousiast’, ‘opwindend’ en ‘boeiend’ in de tekst. Dat het pure verzinsels zijn – deze woorden staan nergens in de transcriptie – is problematisch. Bovendien plakt ChatGPT hiermee willekeurige waardeoordelen in de tekst, die nergens op gebaseerd zijn en niet onderbouwd of uitgelegd worden. Als journalist probeer ik zulke woorden juist te vermijden en mijn lezers een eigen oordeel te laten vormen.

In het interview vertelt Abel over allerlei projecten van ErasmusX, maar we bespreken ook de rol van haar organisatie in het onderwijs: op welke manier is ErasmusX relevant in het innoveren van onderwijs? Wat voor nut hebben de technologische experimenten van ErasmusX, wat voegen ze toe? Wat zijn de concrete doelstellingen van de organisatie en hoe meet ze haar impact? Daarnaast praten we over de samenwerking van ErasmusX met andere afdelingen op de universiteit, zoals Erasmus Digitalisation & Information Service en Community for Learning and Innovation.

Dit gedeelte van het interview neemt ChatGPT niet mee. In plaats daarvan kiest de bot ervoor om de opsomming van de projecten te belichten en de kritische vragen te overslaan. Ik denk dat ChatGPT alleen de projecten van ErasmusX samenvat in het artikel omdat de projecten een voor de hand liggende rode draad zijn in het interview. De bot beschikt dus niet over journalistieke vaardigheden om informatie te selecteren en kritische overwegingen te maken om de insteek te bepalen.

ChatGPT heeft aan ieder project precies twee alinea’s besteed. De structuur is ook identiek: eerst uitleg, daarna een lang citaat. Alle informatie in de tekst lijkt even belangrijk te zijn, waardoor het verhaal moeilijk te interpreteren is. Hier zie je dat ChatGPT niet capabel is om in te zoomen op belangrijke informatie en de bijzaken weg te laten.

Vervolgens staan feiten en meningen door elkaar in het verhaal, waardoor je ze moeilijk uit elkaar haalt. Normaal gesproken zet je meningen tussen aanhalingstekens, zodat er een duidelijk onderscheid ontstaat tussen het verhaal van de journalist en de meningen van de geïnterviewde. Maar in dit artikel worden eerder benoemde zelfverzonnen waardeoordelen beschreven als feiten en staan de meningen van Abel niet altijd tussen aanhalingstekens en andersom. Als voorbeeld: het citaat ‘De Ace Yourself-app is bedoeld om jonge studenten voor te bereiden op het academische leven’ kan prima zonder aanhalingstekens.

Ook de journalistieke waarde van het verhaal is onduidelijk doordat ChatGPT niet goed kan bepalen wat belangrijk is. Een journalist is daar meer mee bezig: wat is er nieuw, wat moeten lezers echt weten, waar zit de urgentie? Zelf zou ik inzoomen op de rol van ErasmusX en haar impact in het onderwijs of met het meest recente project beginnen (urgentie). Daarbij zou ik een of twee projecten benoemen die het meest interessant zijn voor studenten (relevantie). Achtergrondinformatie plaats ik als laatste en als afsluiter zou ik een citaat gebruiken van Abel over hoe belangrijk het is voor onderwijs en wetenschappelijke wereld om te blijven experimenteren en innoveren.

Concrete voorbeelden zou ik ook benoemen, die vind je nergens in het verhaal van ChatGPT. Neem het HefHouse-project, waar studenten maatschappelijke vraagstukken proberen op te lossen met buurtbewoners. Dit project heeft een buddyprogramma waarin een student gekoppeld is aan een statushouder. De beschrijving van dit programma en een voorbeeld van een buddy zouden het verhaal leuker maken en dichter bij de lezers brengen.

Eindredacteur Tim Ficheroux schrikt van de kwaliteit van het artikel. “Ik vind de tekst vrij cliché, vaag en suggestief. Het is een oppervlakkige samenvatting en lijkt af en toe wel een advertentie. De taalfouten vallen mee, je ziet in de Nederlandse versie vooral veelgemaakte fouten als los geschreven samenstellingen”, vervolgt hij. “Het valt me ook op dat het stuk helemaal in dezelfde stijl is geschreven, maar die stijl is een beetje opgeklopt. Woorden als ‘onthullen’ passen bijvoorbeeld niet bij de inhoud van het stuk.”

“Die opgeklopte stijl zie je ook terug in de clichématige bijvoeglijk naamwoorden als ‘boeiend’, ‘verfrissend’ of ‘opwindend’. Los van dat ChatGPT ze uit zijn duim zuigt, zorgen ze voor een duidelijk frame. Het is interessant om te zien dat ChatGPT geen neutrale tekst produceert maar wel doet alsof”, zegt hij.

Nu de illustratie. Waar je in ChatGPT de hele transcriptie kan gooien, werkt Midjourney alleen maar met een kort geformuleerde prompt. Als ‘studenten leren elkaar kennen in een VR-learning experience in digital art style’ ingevoerd wordt, hoest het programma vier plaatjes op. Ik kies de leukste uit en vraag of de beeldbot de illustratie in liggend formaat inlevert.

Op basis van het verhaal door ChatGPT maakt illustrator Femke Legué ook een illustratie, voor dit artikel. Vaak krijgt ze als opdracht – net zoals Midjourney – alleen een samenvatting van een artikel. “Daar haal ik de belangrijke punten uit en vervolgens denk ik na wat ik ermee kan doen”, vertelt ze over haar werkwijze. “Wat komt veel voor in illustraties over dat onderwerp? Geef ik mijn eigen draai aan clichés of zoek ik juist een heel ander perspectief op?”

Daarna is het voor Legué vooral een kwestie van veel schetsen en uitproberen. Wanneer ze weet wat ze gaat maken, doet ze er ongeveer twee uur over om een illustratie te maken. “Maar daarna laat ik de tekening gerust een nachtje liggen. De volgende dag kijk ik er weer met een frisse blik naar.”

We zetten Legué’s illustratie en Midjourneys werk naast elkaar. “Het valt me op dat de AI-illustratie heel mooi is qua compositie en kleur”, merkt Legué op. “Maar hij maakt alleen een letterlijke vertaling van de prompt.”

In Legué’s illustratie gaat het om het interpreteren en personaliseren van kunstmatige intelligentie. “Kunstmatige intelligentie is iets abstracts, dus in deze illustratie probeer ik AI een gezicht te geven”, legt Legue uit. “Ook met de kleuren speel ik en hou ik de personages uit elkaar. Daarbij neem ik ook het VR-project van ErasmusX mee in de afbeelding. Het is ongeveer hoe AI eruitziet in een collegezaal.”

“AI is niet per se creatief”, merkt Legue op. Ze is dus niet bang dat het haar werk gaat overnemen. “Ik denk dat mijn werk uniek blijft door mijn eigen ervaring en ideeën. Naar mijn idee heeft AI geen kennis van cultuur, clichés en connectie van bijvoorbeeld kleuren en emotie.”

Hetzelfde geldt voor de tekst. Hoewel kunstmatige intelligentie inhoudelijk een aardige samenvatting produceert, kan het nog geen fatsoenlijk journalistiek artikel maken. Momenteel moet ik mijn droom laten varen: ChatGPT doet mijn werk terwijl ik met een kom magnetronpopcorn mijn lievelingsserie bingewatch op het grote scherm in onze vergaderkamer.