Wat is Inferentie?

Inferentie is het moment waarop een model "aan het werk" is: een gebruiker stelt een vraag, en het model berekent een antwoord op basis van wat het eerder geleerd heeft.

Dit is iets anders dan training. Bij training leert het model van data; bij inferentie past het die kennis toe. De meeste productie-omgevingen draaien vrijwel continu inferentie.

In architectuurkeuzes kijk je bij inferentie vaak naar latency, schaalbaarheid en kosten per request, zeker bij klantgerichte toepassingen.