Wat is Prompt Caching?

Bij prompt caching bewaart de AI-provider een verwerkte versie van een promptdeel dat je vaak hergebruikt — denk aan een lange system prompt, een document of een kennisbank. Bij een volgende aanroep hoeft het model dat deel niet opnieuw te verwerken.

Het resultaat is een lagere latency en significant lagere kosten, omdat gecachte tokens goedkoper zijn dan vers verwerkte tokens. De cache wordt doorgaans een aantal minuten bewaard en verloopt automatisch.

Prompt caching is relevant zodra je AI-toepassingen bouwt met een vaste, herhaalde context, zoals een klantenservicebot met een uitgebreide kennisbank of een documentassistent. Het verlaagt de operationele kosten bij schaal aanzienlijk.