Hoe knipt een taalmodel tekst in tokens?
Het opknippen heet tokenisatie. Een token kan één teken zijn, zoals de letter z, of een heel woord, zoals het Engelse cat. Lange woorden knipt het model op in meerdere tokens. De verzameling van alle tokens die een model kent, heet de vocabulaire.
Een model als GPT-4 is getraind om steeds het volgende token te voorspellen. Zo bouwt generatieve AI een antwoord token voor token op. Grotere tokens maken het model efficiënter. Kleinere tokens helpen bij zeldzame of nieuwe woorden.
In 2015 lieten Rico Sennrich en collega’s zien dat een vertaalmodel zeldzame en onbekende woorden kan verwerken als reeks woorddelen. Een van hun methoden was gebaseerd op byte pair encoding, een algoritme voor compressie. Samenstellingen noemden ze als voorbeeld van woorden die je via kleinere delen kunt vertalen.
Hoeveel tekst is een token?
Bij de Gemini-modellen van Google is een token ongeveer 4 tekens. 100 tokens zijn ongeveer 60 tot 80 Engelse woorden. Volgens Anthropic hangt het bij Claude af van het model en de taal. Wil je het precies weten, tel de tokens dan met het model dat je gebruikt.
Ook beeld en geluid kosten tokens. Bij de Gemini API (oktober 2026) telt een afbeelding van hooguit 384 pixels breed en hoog als 258 tokens. Grotere afbeeldingen deelt de API op in tegels van 768 bij 768 pixels, elk weer 258 tokens. Audio kost 32 tokens per seconde. Dat speelt een rol bij multimodale AI.
Waarom zijn tokens belangrijk voor marketeers?
- Contextvenster: de hoeveelheid tekst waar een model bij het schrijven op kan terugkijken, een soort werkgeheugen. Dat is iets anders dan de data waarop het getraind is. Gemini 3 en 2.5 kunnen iets meer dan een miljoen tokens invoer aan.
- Kosten: bij de Gemini API hangt de prijs van een aanroep deels af van het aantal tokens in de invoer en de uitvoer.
- Doorzoeken van content: systemen die documenten doorzoeken, knippen ze in stukken. File search van OpenAI maakt standaard stukken van maximaal 800 tokens. Meer daarover lees je bij chunking.
Een voorbeeld: kookwinkel Pannenland uit Den Bosch wil 3.000 productteksten laten herschrijven via een API. Per tekst gaan er ongeveer 300 tokens in en komen er 250 uit. Dat is in totaal 900.000 tokens invoer en 750.000 tokens uitvoer. Met de tokenprijzen van het gekozen model reken je zo vooraf ongeveer uit wat de klus kost.
Verwar tokens niet met
- Woorden of tekens: een token is vaak kleiner dan een woord, maar groter dan een teken. Een woordenteller zegt dus niet precies hoeveel tokens een tekst is.
- API-token of toegangstoken: een geheime sleutel waarmee je toegang krijgt tot een dienst. Dat heeft niets met de lengte van tekst te maken.
- Cryptotoken: een digitaal bezit op een blockchain. Ook dat staat los van taalmodellen.
Veelgestelde vragen over Tokens
Wat is een token in AI?
Een stukje tekst waarmee een taalmodel rekent. Dat kan een heel woord zijn, een deel van een woord of één teken. Je vraag en het antwoord van het model bestaan allebei uit tokens.
Hoeveel woorden is 1.000 tokens?
Bij Gemini zijn 100 tokens ongeveer 60 tot 80 Engelse woorden. 1.000 tokens is dan zo’n 600 tot 800 Engelse woorden. Voor Nederlandse tekst en andere modellen kan dat anders uitvallen.
Wat is een contextvenster?
De hoeveelheid tekst, in tokens, waar een model tegelijk mee kan werken. Denk aan je vraag, eerdere berichten en documenten. Het is het werkgeheugen van het model, niet de data waarop het getraind is.