Wat is Latency?

Latency is de vertraging die een gebruiker ervaart tussen actie en respons. Bij AI-toepassingen gaat het vaak om de tijd tussen prompt en modelantwoord.

Te hoge latency zorgt voor een trage gebruikerservaring, zelfs als de inhoud van het antwoord goed is. Daarom is latency een belangrijke factor in UX en systeemarchitectuur.

Je beïnvloedt latency onder andere met modelkeuze, caching, infrastructuur en slim contextbeheer.