Als je met een AI-model praat, lijkt het alsof het alles onthoudt. In werkelijkheid werkt het geheugen van een taalmodel anders dan dat van jou. Het onthoudt alleen de tekst die past in een context window. Alles daarbuiten verdwijnt uit beeld. Als beginnende AI-gebruiker is dit een van de belangrijkste concepten om te begrijpen. Het bepaalt waarom een model soms details vergeet of rare sprongen maakt. In dit artikel ontdek je wat een context window precies is, hoe groot het kan zijn en hoe je er slim gebruik van maakt.

Wat is een context window precies

Een context window is de hoeveelheid tekst die een AI tegelijk kan vasthouden. Je kunt het vergelijken met kortetermijngeheugen. Zoals je zelf een telefoonnummer van tien cijfers kunt onthouden, maar niet een reeks van vijftig, zo onthoudt een AI alleen de tekst die in het venster past. Zodra de limiet is bereikt, verdwijnt het oudste deel en telt alleen de meest recente invoer nog mee.

Dit geheugen bestaat niet uit volledige woorden, maar uit tokens. Een token is een klein stukje tekst, gemiddeld drie of vier letters. In het Nederlands telt een woord vaak één of twee tokens. Als je bijvoorbeeld de zin “AI verandert de wereld” typt, verwerkt het model dat in ongeveer vijf tokens. Het aantal tokens bepaalt dus hoe groot het venster is en hoeveel tekst je erin kwijt kunt.

Een kleine context window betekent dat je kort en bondig moet werken. Je geeft instructies in losse, compacte blokken en herhaalt eventueel wat belangrijk is. Een groot context window geeft je meer vrijheid. Dan kan je lange documenten, uitgebreide gesprekken of grote hoeveelheden code in één keer aanbieden zonder dat de AI de draad kwijtraakt.

Waarom het context window belangrijk is

Het begrijpen van het context window helpt je in te schatten hoe je een AI-model inzet. Zonder dat inzicht kan je verkeerde verwachtingen hebben.

Bij een gesprek met AI denk je misschien dat het model alles onthoudt wat je eerder schreef. In werkelijkheid schuift de oudste tekst er op een gegeven moment uit. Je merkt dat wanneer het model niet meer weet wat je aan het begin zei. Een groot context window verlengt de aandachtsspanne, maar ook dat heeft zijn grenzen.

Bij het analyseren van documenten is de impact nog groter. Stel je hebt een beleidsdocument van honderd pagina’s. Bij een klein venster raakt de helft van de tekst buiten beeld. Het model baseert zijn antwoord dan slechts op het laatste gedeelte. Pas met een groot context window kan je het document in zijn geheel laten analyseren en betrouwbare samenvattingen krijgen.

Ook bij programmeren speelt dit concept een rol. Als je de AI vraagt om een bug te vinden in een bestand van duizenden regels code, is een klein window niet genoeg. Het model ziet alleen een fractie van de code en mist de samenhang. Met een groot context window kan het de volledige structuur van je project tegelijk meenemen.

Kortom: het context window bepaalt hoe volledig en nuttig een antwoord is bij grote hoeveelheden ingeladen data. Hoe groter het venster, hoe meer samenhang de AI behoudt. Hoe kleiner het venster, hoe belangrijker het is dat je zelf de kerninformatie selecteert en aanbiedt.

Hoe groot is een context window

De omvang van een context window verschilt sterk per model. De eerste generaties taalmodellen hadden slechts enkele duizenden tokens capaciteit. GPT-3.5 werkte bijvoorbeeld met ongeveer 4000 tokens. GPT-4 introduceerde varianten van 8000 en 32.000 tokens. De nieuwste modellen gaan zelfs richting de 200.000 tokens. Dat is groot genoeg om een compleet boek van honderden pagina’s tegelijk in te laden.

Om dit te vertalen naar woorden is een vuistregel handig: één token staat gemiddeld gelijk aan driekwart van een Engels woord. In het Nederlands ligt dat iets hoger omdat woorden vaak langer zijn. Een window van 32.000 tokens komt neer op circa 24.000 woorden. Dat zijn meer dan veertig pagina’s tekst.

De omvang van het context window bepaalt dus hoe flexibel je met AI kunt werken. Een groot venster geeft ruimte voor complexe vragen, zoals het vergelijken van meerdere rapporten of het analyseren van een dataset met duizenden regels tekst. Een klein venster vraagt om meer voorbereiding. Dan moet je documenten in stukken knippen, samenvattingen maken en kernpunten vooraan plaatsen om binnen de limiet te blijven.

Een ander aspect is dat meer context niet altijd beter is. Voeg je te veel irrelevante details toe, dan verdring je nuttige informatie. Een groot venster is krachtig, maar vraagt ook om bewuste keuzes. Je selecteert wat echt nodig is en laat overbodige tekst weg. Zo gebruik je de ruimte efficiënt en voorkom je dat het model afgeleid raakt.

Toepassingen en beperkingen

Een groot context window maakt nieuwe toepassingen mogelijk. Je kunt een heel handboek analyseren, een groot aantal klantgesprekken naast elkaar leggen of lange broncode laten doorlopen. Toch blijven er grenzen. Zodra je tekst langer is dan het window toelaat, schuift informatie weg en verliest het model samenhang.

Het is daarom slim om bewust om te gaan met wat je in het venster plaatst. Als je veel details toevoegt die niet relevant zijn, gaat waardevolle ruimte verloren. Plaats je juist de kerninformatie vooraan, dan gebruik je de capaciteit efficiënter en vergroot je de kans op een bruikbaar antwoord.

Veelgemaakte fouten

Beginnende gebruikers maken vaak dezelfde fouten. Ze plakken complete documenten in de prompt zonder te controleren of het past. Ze verwachten dat de AI nog weet wat pagina’s eerder is genoemd, terwijl dat allang buiten het context window is gevallen. Of ze vertrouwen blind op de output, zonder te beseffen dat de helft van hun input misschien niet is meegenomen.

FAQ

Wat is een context window in AI?
Een context window is de hoeveelheid tekst die een AI tegelijk kan meenemen in een antwoord.

Hoeveel tekst past er in een context window?
Dat hangt af van het model. Het kan variëren van enkele duizenden woorden tot een heel boek.

Waarom vergeet een AI soms dingen?
Omdat oude tekst uit het context window verdwijnt zodra er nieuwe tekst bijkomt.

Wat betekent 1 token?
Een token is een stukje tekst van gemiddeld drie of vier letters. Een Nederlands woord telt vaak één of twee tokens.

Conclusie

Een context window is in feite het kortetermijngeheugen van AI. Het bepaalt hoeveel tekst het model tegelijk gebruikt om een antwoord te formuleren. Hoe groter dit venster, hoe complexer en langer de input die je kunt aanbieden. Begrijp je de werking, dan weet je waarom de AI soms dingen vergeet en hoe je de beschikbare ruimte optimaal benut.

Wil je meer praktische tips over slim gebruik van AI? Lees dan ons artikel over “Wat zijn AI agents?“.

Volgens OpenAI groeit de capaciteit van context windows snel. Dat opent nieuwe mogelijkheden, van juridische documenten tot complete boeken. Lees meer.

Samenvatting in drie bullets

• Een context window is het kortetermijngeheugen van AI.

• Hoe groter het window, hoe langer en complexer de input die je kwijt kunt.

• Slim gebruik vraagt om samenvatten, opdelen en strategisch plaatsen van informatie.