Wat zijn Tokens?

AI-taalmodellen werken niet direct met hele zinnen, maar met tokens: kleine tekstonderdelen zoals woorden of delen van woorden. Zowel jouw input als de output worden in tokens gemeten.

Het aantal tokens is belangrijk omdat het vaak samenhangt met kosten en performance. Meer tokens betekent meestal meer verwerkingstijd en hogere verbruikskosten.

Tokens bepalen ook hoeveel context een model tegelijk kan meenemen. Bij lange documenten of uitgebreide chats is het dus belangrijk om slim met contextbeheer om te gaan.