AI-agenten besparen pas geld als toezicht en fouten worden meegerekend

In het kort

Nieuwe onderzoeken naar ongewenst gedrag van AI-agenten maken duidelijk waarom controle een economische kostenpost is. Grote aantallen onderzochte logs zijn geen aantallen ernstige incidenten. Sommige problemen ontstonden in speciaal ingerichte evaluaties, waardoor ze niet rechtstreeks een foutkans voor dagelijks bedrijfsgebruik opleveren. Voor de businesscase tellen de resterende tijdwinst, toezichtskosten en mogelijke schade samen.

Tien minuten besparen klinkt aantrekkelijk. Bij 10.000 taken en 45 euro aan arbeidskosten per uur vertegenwoordigt dat 75.000 euro per jaar. Maar als iedere taak zes minuten controle vraagt, verdwijnt daarvan 45.000 euro. Nog vóór softwarekosten, herstelwerk en incidenten resteert 30.000 euro. De productiviteitswinst van een AI-agent wordt dus niet alleen bepaald door hoe snel hij een opdracht uitvoert.

Een agent kan naast tekst produceren ook handelingen uitvoeren, bijvoorbeeld bestanden verwerken of bedrijfsprocessen voorbereiden. Daardoor wordt een fout soms duurder dan een verkeerde alinea. De relevante beleggersvraag is hoeveel bruikbare automatisering overblijft nadat organisaties de noodzakelijke beperkingen en controles hebben toegevoegd.

Honderden miljoenen logs zijn geen honderden miljoenen incidenten

In een onderzoeksrapport van 9 september beschrijft Anthropic vier incidenten rond systemen van derden. Het bedrijf onderzocht daarvoor uiteindelijk 481 miljoen gespreks- en uitvoeringslogs uit verschillende onderzoeksprocessen. Die verzameling omvatte onder meer training, evaluaties en deelopdrachten aan andere agenten. Het zijn geen 481 miljoen vergelijkbare klanttaken.

De beschreven ernstige gebeurtenissen kwamen uit evaluaties bij dezelfde externe partner. Daar was de omgeving verkeerd ingericht: modellen kregen te horen dat zij in een simulatie werkten, terwijl verbindingen met echte systemen mogelijk bleven. Dat maakt de incidenten relevant voor de inrichting van tests en bevoegdheden. Het rechtvaardigt niet de conclusie dat gewone gebruikers dezelfde omstandigheden of hetzelfde risico hebben.

Ook een automatische waarschuwing in een log is nog geen bevestigd incident. Zoekfilters zijn bedoeld om verdachte gevallen te selecteren voor nader onderzoek. Een ruime selectie kan miljoenen kandidaten opleveren, waarvan verreweg de meeste een andere verklaring hebben. Wie die tussenstap overslaat, maakt van een controlesysteem een misleidende incidententeller.

Daar komt een statistisch probleem bij. Zonder een vergelijkbare teller en noemer valt geen bruikbaar percentage te berekenen. Vier zware gevallen delen door alle onderzochte logs levert wel een getal op, maar geen betrouwbare kans voor een specifieke bedrijfsapplicatie. Taken, toegang, modelversies en toezicht verschillen daarvoor te veel.

Een veiligere inrichting verandert de financiële rekensom

Een organisatie kan een agent kleine, afgebakende taken geven, zijn toegang beperken en belangrijke acties laten goedkeuren. Daarmee wordt de mogelijke schade per fout kleiner. Tegelijk kosten goedkeuringen tijd. De goedkoopste uitvoering per taak is daarom niet vanzelf de goedkoopste volledige bedrijfsvoering.

Dat onderscheid wordt zichtbaar in een eenvoudig jaarbudget. De eerste tool begint met bespaarde werktijd en trekt controleuren, softwarekosten en een gekozen reserve voor herstel af. Die reserve is een eigen aanname. Zij is niet afgeleid van de genoemde onderzoekslogs, en een echte zeldzame gebeurtenis kan veel groter uitvallen dan het gereserveerde bedrag.

Een positieve uitkomst betekent bovendien niet dat iedere bespaarde minuut direct als winst op de resultatenrekening verschijnt. Een werknemer die tien minuten minder nodig heeft, krijgt doorgaans hetzelfde salaris. De opbrengst ontstaat pas wanneer die tijd meer verkoop, meer verwerkte dossiers, minder overwerk of een vermeden extra aanstelling mogelijk maakt.

Daarom vraagt een goede pilot om een vergelijking met het bestaande proces. Meet niet alleen snelheid, maar ook hoeveel uitkomsten zonder correctie bruikbaar zijn en hoeveel werk later terugkomt. Een systeem dat in de eerste stap snel is, kan de volgende afdeling juist extra werk bezorgen. De besparing moet over het hele proces worden gemeten.

Incidentrapportage helpt, maar geeft nog geen sectorbrede foutkans

OpenAI publiceerde op 16 september een raamwerk voor het melden van modelmisalignment, ongewenst gedrag dat afwijkt van de bedoelde doelen of beperkingen. Het bedrijf beschreef zes rapporten over de voorgaande zes maanden. Zo’n publicatie maakt concrete gevallen bespreekbaar, maar vormt op zichzelf geen representatieve steekproef van al het gebruik.

De incidentenverzameling van onderzoeksorganisatie METR heeft eveneens waarde als verzameling lessen. Daarin zijn relevante gebeurtenissen bij elkaar gebracht, met uiteenlopende achtergronden. Een geselecteerde catalogus helpt om scenario’s voor controles te bedenken. Zij kan niet zonder aanvullende informatie worden gebruikt om de jaarlijkse schade van een gemiddeld bedrijf te voorspellen.

Voor inkopers is vooral van belang of een leverancier fouten herkenbaar meldt, veranderingen in zijn product documenteert en herstel ondersteunt. Een model kan goed presteren op een benchmark en toch slecht passen bij een proces met vertrouwelijke gegevens, onomkeerbare transacties of ingewikkelde uitzonderingen. Productkwaliteit bestaat hier uit meer dan intelligentie alleen.

Voor aanbieders levert dat twee tegengestelde effecten op. Betere controles kunnen de verkoop aan grote organisaties ondersteunen, omdat de klant het systeem gemakkelijker kan verantwoorden. Maar ondersteuning, onderzoek en monitoring kosten ook geld. Sterke omzetgroei bewijst dan nog niet dat de marge per klant stijgt.

Reken terug hoeveel controletijd nog betaalbaar is

De gebruikelijke vraag is hoeveel een agent kan besparen. De omgekeerde vraag is hoeveel toezicht die besparing kan dragen. Neem opnieuw 10.000 taken, tien minuten tijdwinst per taak en 45 euro per uur. Bij samen 20.000 euro aan software- en herstelkosten blijft 55.000 euro beschikbaar voor toezicht voordat de businesscase op nul uitkomt.

Dat staat gelijk aan ongeveer 7,3 minuten controle per taak. Wie structureel acht minuten moet controleren, heeft onder deze aannames geen positieve directe arbeidsbesparing. Dat sluit andere voordelen niet uit, zoals kortere wachttijden of betere beschikbaarheid. Die voordelen moeten dan wel afzonderlijk worden onderbouwd en niet ongemerkt als geldbesparing worden geboekt.

Voor invoering moet daarnaast vaak vooraf worden betaald: koppelingen, training, procesaanpassingen en evaluatie. De eerste positieve maand maakt die investering nog niet terugverdiend. Een leverancier die alleen zijn maandtarief vergelijkt met een jaarsalaris, laat een groot deel van de beslissing buiten beeld.

Drie jaaruitkomsten maken invoeringskosten zichtbaar

Bij een fictieve startinvestering van 50.000 euro rekenen we met jaarlijkse netto-opbrengsten van 10.000, 15.000 en 20.000 euro in het ongunstige pad. Het basispad gebruikt 30.000, 40.000 en 50.000 euro. Het gunstige pad gebruikt 50.000, 70.000 en 90.000 euro. Deze bedragen zijn kasbesparingen ná jaarlijkse exploitatiekosten en vóór belasting.

Na drie jaar bedraagt het cumulatieve saldo dan respectievelijk min 5.000, plus 70.000 en plus 160.000 euro. Er is geen verkoopwaarde van software toegevoegd en de bedragen zijn niet contant gemaakt. Het eerste jaar kan dus nog negatief zijn terwijl de volledige investering later geld oplevert. Andersom maakt een geslaagde demonstratie een zwak meerjarenpad niet rendabel.

De laatste tool onderzoekt een ander risico: hoeveel incidentele schade de resterende jaarbesparing kan absorberen. Bij 30.000 euro voordeel vóór schade en 100.000 euro verlies per gebeurtenis verdwijnt dat voordeel in verwachtingswaarde bij gemiddeld 0,3 gebeurtenissen per jaar. Dat is een rekengrens, geen gemeten incidentfrequentie en ook geen veilige risiconorm.

Een gemiddelde kan de ervaring van een klein bedrijf slecht beschrijven. Het kan jarenlang niets meemaken en vervolgens één schadepost krijgen die het jaarbudget ruim overschrijdt. Daarom horen bevoegdheden, reserves en de mogelijkheid om handelingen terug te draaien bij de investeringsbeslissing zelf. Niet ieder risico laat zich oplossen met een iets hogere maandelijkse reservering.

De sterkste commerciële AI-toepassing is uiteindelijk degene die onder werkelijke beperkingen voldoende waarde blijft leveren. Als een pilot laat zien dat minder controle nodig is zonder meer herstelwerk, verbetert de businesscase. Als de bespaarde minuten terugkomen als toezicht en correcties, moet de prijs of de toepassing veranderen. Voor beleggers zijn aantoonbare klantbesparingen daardoor overtuigender dan alleen groeiende aantallen uitgevoerde taken.