Artificiële Intelligentie (AI): Wat is AI?

Hoe werkt Generatieve AI?

Bekende GenAI-tools, zoals ChatGPT en Copilot maken gebruik van GPT's (Generatieve Pre-trained Transformers). GPT's zijn Large Language Models (LLMs). Dit soort taalmodellen zijn getraind op grote datasets, werken op het principe van deep learning en zijn gebaseerd op transformer-architectuur. 

Transformer-architectuur is een type onderliggende neurale netwerkarchitectuur dat wordt gebruikt bij natuurlijke taalverwerking. Dit type architectuur is in staat om langere zinnen te kunnen ontcijferen en woorden binnen die zinnen met elkaar te linken die verder van elkaar staan. Voorbeelden van natuurlijke taalverwerking zijn het genereren of samenvatten van tekst. LLMs zijn getraind op enorme hoeveelheden data en functioneren door middel van het principe van deep learning. Transformer-architectuur maakt dat de nieuwe gegenereerde tekst natuurlijk en vloeiend is. Daarom zijn teksten die gegenereerd zijn met een tool op basis van transformer-architectuur veel natuurlijker vergeleken met oudere chatbots die op andere soorten modellen en architectuur zijn gebaseerd.

Maar let op, ondanks dat de tekst door GenAI nieuw gegenereerd is, wil dat niet zeggen dat de tool bewust nadenkt. GenAI-tools denken niet, hebben geen mogelijkheid om een eigen mening te vormen, hebben geen empathie om te tonen, kunnen niet denken in termen van oorzaak en gevolg en hebben alleen kennis van de data waarop ze zijn getraind.

Wat gebeurt er als je een GPT gebruikt?

1. Input
   Wanneer je gebruikmaakt van een generatieve AI-tool start je met het geven van input aan de tool. Dit heet een prompt. Je kunt een prompt vergelijken met een studieopdracht die je in een cursus krijgt. De studieopdracht maakt duidelijk waar je je op moet focussen en wat de docent verwacht dat jij aan het einde van de cursus inlevert.
2. Tokenization
   De prompt die je invoert, wordt eerst in kleine stukjes verdeeld door middel van tokenization. Die kleine stukjes noemen we "tokens". Een token is meestal een woord, maar als een woord te lang is, kan het worden opgesplitst in meerdere tokens.
3. Vectorization
   Prompten gebeurt in natuurlijke, menselijke taal. Een taalmodel kan dit echter niet direct begrijpen, maar moet de tokens omzetten in cijfers (vectors). Elk LLM is getraind op een dataset met gecodeerde menselijke talen. Vectors zijn coördinaten voor waar tokens zich in die dataset bevinden.
4. Embedding
   Nadat de prompt is omgezet in vectors, maakt het taalmodel een tabel om bepaalde semantische en syntactische informatie over de prompt vast te leggen. Deze tabel heet een embedding en is dus de numerieke weergave van de prompt. Tokens zijn tijdens de trainingsfase van het taalmodel zo ingedeeld dat relaties tussen alle tokens zijn gecodeerd. Je kunt embedding zien als het maken van een kaart waarop elk token een plekje heeft en tokens met een vergelijkbare betekenis bij elkaar komen te staan. Dit is een eerste stap om de computer te helpen om relaties tussen tokens (of woorden) te begrijpen.
5. Neuraal Netwerk
   De embedding gaat door de transformer-architectuur om de juiste context aan de tokens te koppelen. Een transformer is een type neurale architectuur (ook wel een neuraal netwerk genoemd) binnen taalmodellen dat ervoor zorgt dat nieuw gegenereerde tekst natuurlijk en vloeiend overkomt. Dit netwerk maakt gebruik van kansberekening om o.a het gewicht van elke token binnen een prompt te bepalen en te voorspellen welke tokens logischerwijs bij elkaar horen en elkaar opvolgen. Dit is de zogenaamde ‘self-attention’-mechaniek: elk token ‘kijkt’ naar de andere tokens in de prompt (context) om te bepalen wat relevant is. Als jouw prompt de woorden 'universiteit', 'data' en 'literatuur' bevat, dan is de kans groter dat een mogelijke output het woord 'studeren'; bevat dan het woord 'koken'. Hoe beter het taalmodel is getraind, hoe beter de prompt in de juiste context wordt geplaatst en hoe natuurlijker de output uiteindelijk wordt.
6. Output
   In de laatste stap van het proces wordt de context verder verfijnd. De vectors worden weer terugvertaald naar letters en dan krijg je een output van het taalmodel in natuurlijke taal. 

De exacte interne werking van veel AI tools wordt niet altijd transparant gecommuniceerd en deze werking is voor veel mensen lastig om te doorgronden. De bovenstaande stappen laten zien dat de ouput die je uit een GenAI tool krijgt gebaseerd zijn op basis van de training van de tool en kansberekening. Jouw natuurlijke woorden worden vertaald naar tokens, die tokens gaan door een specifieke architectuur die vloeiende en natuurlijke output kan genereren. Ondanks dat deze tools natuurlijke taal heel goed kunnen simuleren, hebben deze tools geen bewustzijn. GenAI tools hebben beperkingen en weergeven soms foutieve informatie alsof het feiten zijn (hallucinaties). Het is belangrijk om verantwoord gebruik te te maken met GenAI tools.

Meer weten?

How does ChatGPT work? Explained by a deepfake Ryan Gosling

What Is ChatGPT Doing … and Why Does It Work? An article by Stephen Wolfram Writings