Energieverbruik van AI inzichtelijk maken

AI in maatwerksoftware: wat komt er écht bij kijken?

AI voelt vaak onzichtbaar.

Je stelt een vraag, krijgt een antwoord terug en gaat verder. Er komt geen vrachtwagen aan te pas, er draait geen machine naast je bureau en er ligt geen stapel papier op tafel.

Toch is AI niet immaterieel.

Achter elke prompt zit rekencapaciteit. Servers verwerken tekst, modellen berekenen waarschijnlijkheden, data wordt opgehaald, context wordt samengesteld en antwoorden worden gegenereerd. Zeker bij grote taalmodellen, lange prompts of intensieve bedrijfsprocessen kan dat veel rekenkracht vragen.

Daarom onderzoeken we binnen ons R&D-traject NoardCode AI Gateway niet alleen hoe AI stabieler, veiliger en slimmer geintegreerd kan worden, maar ook hoe AI-verwerking energie-efficienter kan worden ingericht.

In het projectplan wordt dit beschreven als onderzoek naar energie-efficientie en milieuvriendelijke AI-verwerking. Daarbij kijken we onder andere naar modelcompressie, batching, caching, meetinstrumenten voor energieverbruik en een beslissingsalgoritme dat bepaalt of een taak lokaal of in de cloud wordt uitgevoerd op basis van prestaties en energieverbruik.

AI heeft een verborgen kostenkant

Veel organisaties denken bij AI-kosten vooral aan licenties of API-verbruik.

Hoeveel kost een model per maand? Wat betaal je per token? Welke provider is goedkoper? Hoeveel gebruikers mogen er tegelijk werken?

Dat zijn belangrijke vragen. Maar ze vertellen niet het hele verhaal.

AI heeft ook een technische en ecologische kostenkant. Elke verwerking vraagt CPU- of GPU-capaciteit. Die capaciteit vraagt stroom. En afhankelijk van waar en hoe de verwerking plaatsvindt, verschilt de impact.

Een korte prompt voor een eenvoudige tekstsuggestie is iets anders dan een uitgebreid document analyseren met veel context, meerdere tussenstappen en een groot model.

Toch worden al die AI-acties in veel applicaties nog op een hoop gegooid: AI-verbruik.

Wij denken dat dit specifieker moet.

Wat kost een prompt eigenlijk?

Een interessante vraag is: wat kost een AI-prompt eigenlijk?

Niet alleen financieel, maar ook technisch.

Daarvoor moet je naar meerdere factoren kijken:

• hoeveel input wordt meegestuurd;
• hoeveel output wordt gegenereerd;
• welk model wordt gebruikt;
• hoeveel context wordt opgehaald;
• of er meerdere AI-calls nodig zijn;
• of data eerst wordt geanonimiseerd;
• of de taak lokaal of in de cloud draait;
• hoeveel retries of correctiestappen nodig zijn;
• of resultaten opnieuw gebruikt kunnen worden;
• hoeveel wachttijd en rekentijd nodig is.

Een prompt is dus niet altijd een eenvoudige actie. In een serieuze AI-integratie kan een gebruikersvraag leiden tot een keten van verwerkingen.

Bijvoorbeeld: context ophalen uit een kennisbank, gevoelige informatie detecteren, prompt anonimiseren, modelselectie bepalen, AI-call uitvoeren, output valideren, eventueel een tweede controle uitvoeren en resultaat opslaan en loggen.

Elke stap heeft impact op performance, kosten en energiegebruik.

Waarom inzicht belangrijk is

Zonder inzicht kun je AI niet goed optimaliseren.

Als je niet weet welke taken veel rekenkracht vragen, kun je ook niet bepalen waar verbetering mogelijk is. Misschien blijkt dat een groot deel van het verbruik ontstaat door te lange prompts. Of door herhaalde vragen die steeds opnieuw worden berekend. Of door zware modellen voor eenvoudige taken.

Met meetgegevens kun je betere keuzes maken.

Bijvoorbeeld welke taken het duurst zijn, welke prompts het langst duren, welke modellen onnodig zwaar worden ingezet, waar caching kan helpen en welke verwerking lokaal of juist cloud beter past.

Inzicht maakt optimalisatie concreet.

Niet elke taak vraagt om het zwaarste model

Een veelvoorkomende valkuil is om voor alle AI-taken hetzelfde krachtige model te gebruiken.

Dat is begrijpelijk, maar niet altijd efficient.

Een eenvoudige classificatie vraagt misschien geen groot taalmodel. Een korte tekstcontrole kan mogelijk met een lichter model. Het herkennen van persoonsgegevens kan lokaal met een geoptimaliseerde controlelaag. Een complexe analyse vraagt juist wel om een krachtiger model.

AI-efficientie begint dus bij taakbewust werken.

De vraag is niet welk model het beste is, maar welk model goed genoeg is voor deze taak.

Dat verschil is belangrijk. Want goed genoeg kan leiden tot lagere kosten, snellere verwerking en minder energieverbruik, zonder dat de gebruiker kwaliteitsverlies ervaart.

Caching: niet alles opnieuw berekenen

Een eenvoudige manier om AI-verbruik te verminderen is caching.

Als dezelfde of vergelijkbare informatie meerdere keren wordt opgevraagd, hoeft het resultaat niet altijd opnieuw gegenereerd te worden.

Denk aan samenvattingen van documenten, embeddings van tekstfragmenten, analyse van veelgestelde vragen, classificaties van bekende datatypes, eerder gevalideerde context en standaardantwoorden op basis van onveranderde bronnen.

Caching is niet altijd mogelijk. Sommige antwoorden zijn gebruiker-, tijd- of contextafhankelijk. Maar waar het wel kan, voorkomt caching onnodige verwerking.

Dat is niet alleen sneller en goedkoper, maar ook energie-efficienter.

Batching: taken slimmer bundelen

Een andere optimalisatie is batching: meerdere taken gebundeld verwerken.

Stel dat een systeem honderd korte teksten moet classificeren. Je kunt daarvoor honderd losse AI-calls doen. Maar soms is het efficienter om taken te bundelen, zodat minder overhead ontstaat.

Batching kan helpen bij bulkverwerking van documenten, classificatie van datasets, genereren van embeddings, periodieke analyses, nachtelijke verwerking, rapportages en herindexering van kennisbanken.

Bij batching moet je wel opletten. Te grote batches kunnen vertragen of foutgevoeliger worden. Ook is batching minder geschikt voor interactieve taken met direct antwoord.

De kunst is dus om te bepalen welke taken realtime moeten en welke asynchroon of gebundeld kunnen worden uitgevoerd.

Promptoptimalisatie als duurzaamheidsmaatregel

Prompts worden vaak geschreven vanuit functioneel perspectief: hoe krijgen we het beste antwoord?

Maar promptoptimalisatie heeft ook invloed op efficientie.

Een onnodig lange prompt kost meer verwerking. Te veel context maakt het antwoord trager en duurder. Onduidelijke instructies kunnen leiden tot extra correctierondes. Slecht gestructureerde prompts veroorzaken soms incomplete output, waardoor opnieuw geprobeerd moet worden.

Een efficiente prompt is dus niet alleen korter, maar vooral gerichter.

Dat betekent: alleen relevante context meesturen, duidelijke instructies geven, outputformat specificeren, overbodige tekst vermijden, taken opsplitsen waar nodig, broninformatie slim samenvatten, herbruikbare prompttemplates gebruiken en controleren of een taak uberhaupt AI nodig heeft.

Lokaal of cloud: wat is energie-efficienter?

Een lastige vraag is of AI-verwerking lokaal of in de cloud energie-efficienter is.

Daar is geen algemeen antwoord op.

Cloudproviders beschikken vaak over geoptimaliseerde infrastructuur en schaalvoordelen. Lokale verwerking kan juist efficienter zijn wanneer data dichtbij staat, taken klein zijn of gevoelige informatie niet heen en weer gestuurd hoeft te worden.

De beste keuze hangt af van factoren als taaktype, modelgrootte, lokale hardware, infrastructuurbelasting, dataoverdracht, latency, energieprofiel, caching, privacy-eisen en kwaliteitseisen.

Daarom onderzoeken we binnen de NoardCode AI Gateway hoe een beslissingsalgoritme kan helpen bepalen of een taak lokaal of in de cloud moet worden uitgevoerd. Niet alleen op basis van performance en kosten, maar ook op basis van energieverbruik.

Meten is ingewikkelder dan het lijkt

Energieverbruik van AI meten klinkt eenvoudig, maar is technisch uitdagend.

Je wilt weten hoeveel energie een specifieke AI-taak verbruikt. Maar in praktijk draait die taak vaak op gedeelde infrastructuur. Meerdere processen gebruiken dezelfde server. GPU's verwerken meerdere taken. Cloudproviders geven niet altijd directe meetgegevens per prompt. En lokale metingen moeten gekoppeld worden aan applicatielogica.

Daarom moet je werken met combinaties van meetpunten en schattingen.

Bijvoorbeeld verwerkingstijd, CPU- en GPU-belasting, geheugengebruik, aantal tokens, modeltype, aantal AI-calls, wachttijd, batchgrootte, energieprofiel van hardware, cloudregio en cache-hit of cache-miss.

Het doel is niet meteen absolute perfectie. Het doel is vooral om verbruik vergelijkbaar en stuurbaar te maken.

Van technische metingen naar bruikbare dashboards

Meetgegevens zijn pas waardevol als je er iets mee kunt.

Daarom is een dashboard of rapportagelaag belangrijk. Niet alleen voor developers, maar ook voor beheerders en organisaties die grip willen houden op AI-gebruik.

Zo'n dashboard kan inzicht geven in aantal AI-taken, gemiddelde verwerkingstijd, modelgebruik per taaktype, tokenverbruik, cachebesparing, retries, geschat energieverbruik, geschatte CO2-impact, verdeling lokaal versus cloud, zwaarste processen en optimalisatiekansen.

Voor organisaties maakt dit AI concreter. Je ziet niet alleen dat AI gebruikt wordt, maar hoe, waar en met welke impact.

Energie-efficientie raakt ook betrouwbaarheid

Energie-efficientie klinkt misschien als duurzaamheidsvraagstuk, maar het raakt ook betrouwbaarheid en schaalbaarheid.

Een inefficiente AI-keten is vaak ook duurder, trager en foutgevoeliger.

Als prompts te groot zijn, neemt de kans op time-outs toe. Als taken telkens opnieuw worden uitgevoerd, stijgen kosten en wachttijden. Als altijd het zwaarste model wordt gebruikt, ontstaat sneller capaciteitsdruk. Als er geen caching is, wordt onnodig veel rekenwerk herhaald.

Door energie-efficienter te ontwerpen, maak je de AI-integratie vaak ook robuuster.

AI-gebruik begrenzen

In sommige situaties wil je niet alleen meten, maar ook grenzen instellen.

Bijvoorbeeld maximaal aantal AI-calls per gebruiker, maximaal tokenbudget per taak, maximaal energieprofiel per batch, waarschuwing bij zware verwerking, verplichte goedkeuring bij grote analyses, automatische keuze voor lichter model bij eenvoudige taken, blokkeren van herhaalde identieke prompts en uitstellen van bulkverwerking naar rustige momenten.

Dit soort regels helpen om AI beheersbaar te houden.

Wat betekent dit voor Laravel- en maatwerkapplicaties?

Voor Laravel- en maatwerksoftware kan energie-inzicht op verschillende plekken worden ingebouwd.

Denk aan logging van AI-taken via jobs en queues, meten van verwerkingstijd per model, opslaan van tokenverbruik per request, koppelen van AI-verbruik aan gebruikers, klanten of tenants, dashboards voor beheerders, cachelagen voor documentanalyses, events voor monitoring, policies voor zware AI-acties, configuratie per klant of omgeving en rapportages over lokaal versus cloudverbruik.

Omdat veel bedrijfsapplicaties al werken met gebruikers, rollen, queues, logs en dashboards, kan AI-monitoring aansluiten op bestaande architectuur.

Wat onderzoeken we binnen de NoardCode AI Gateway?

Binnen de NoardCode AI Gateway onderzoeken we hoe AI-verwerking meetbaar en optimaliseerbaar kan worden gemaakt.

Daarbij kijken we onder andere naar meetinstrumenten voor AI-processen, energieverbruik per taak, modelcompressie, caching, batching, promptoptimalisatie, routering tussen lokaal en cloud, prestaties versus energieverbruik, dashboards en rapportages en beslisregels voor energie-efficiente verwerking.

De centrale vraag is: hoe maken we het verbruik van AI zichtbaar, zodat software betere keuzes kan maken over model, route en verwerking?

Die vraag past binnen de bredere ambitie om AI niet alleen krachtig, maar ook beheersbaar en toekomstbestendig te integreren.

Wat betekent dit voor organisaties?

Voor organisaties die AI willen inzetten, is energieverbruik misschien niet het eerste onderwerp waar ze aan denken. Toch wordt het steeds relevanter.

Naarmate AI vaker wordt gebruikt in processen, stijgt het belang van grip op verbruik. Niet alleen vanwege duurzaamheid, maar ook vanwege kosten, performance, capaciteit en verantwoordelijkheid.

Een organisatie die AI serieus inzet, moet uiteindelijk vragen kunnen beantwoorden als hoeveel AI-verwerking er wordt gebruikt, welke processen het zwaarst zijn, waar onnodige kosten ontstaan, welke taken efficienter kunnen en wanneer lokale of cloudverwerking logischer is.

Zonder meetgegevens blijven die vragen abstract. Met meetgegevens kun je sturen.

Wat leren we hiervan?

De belangrijkste les is dat AI niet alleen beoordeeld moet worden op de kwaliteit van het antwoord.

Een goede AI-integratie kijkt ook naar de weg ernaartoe.

Hoeveel context was nodig? Hoeveel verwerking is uitgevoerd? Welk model is gebruikt? Was een lichter model voldoende geweest? Kon het resultaat uit cache komen? Had de taak gebundeld kunnen worden? Was lokale of cloudverwerking logischer geweest?

Door die vragen te stellen, wordt AI niet alleen slimmer ingezet, maar ook efficienter.

Tot slot

AI heeft impact. Niet alleen functioneel, maar ook technisch, financieel en ecologisch.

Daarom willen we binnen de NoardCode AI Gateway energieverbruik van AI-processen inzichtelijk maken. Niet als doel op zich, maar als basis voor betere keuzes.

Want wat je niet meet, kun je moeilijk verbeteren.

In de volgende blog gaan we verder op dit thema: hoe kun je AI inzetten met minder tokens, minder verspilling en meer hergebruik?