Naar de inhoud

Waarom hetzelfde AI-model niet altijd hetzelfde antwoord geeft

Dezelfde vraag, hetzelfde model, dezelfde instellingen en zelfs dezelfde seed, en toch een ander antwoord. In de proef die wij hier beschrijven, speelde afronding in de rekenkernen een rol. Voor testen, controles en verantwoording moet u dat weten.

Het probleem

Wie AI inzet voor controles, rapportages of beslissingen, wil dat dezelfde vraag hetzelfde antwoord geeft: om te testen, om uitkomsten na te gaan, om te kunnen uitleggen waarom iets zo is beslist. Daarvoor zet men de "temperatuur" laag of geeft men een vaste seed mee. Toch blijkt dat geen garantie. Aanbieders noemen een seed zelf "best-effort": een poging, geen belofte. Dit verschijnsel heet nondeterminisme.

Hoe afronding een verschil kan veroorzaken

Een taalmodel rekent met miljarden getallen, en computers ronden daarbij af. De volgorde waarin optellingen gebeuren, bepaalt hoe die afronding precies uitvalt. Rekenkernen splitsen hun werk anders op naarmate er meer of minder werk tegelijk is. Een piepklein verschil kan vroeg in het antwoord een ander woord opleveren, en daarna loopt de rest van het antwoord anders. Het onderzoeksbedrijf Thinking Machines Lab liet in 2025 zien hoe de volgorde van berekeningen tot verschillende uitkomsten kan leiden. Ook llama.cpp, de motor onder Ollama, waarschuwt ervoor: met de prompt-cache aan zijn uitkomsten niet gegarandeerd tot op de bit gelijk.

Wat wij zelf zagen

In onze eigen lokale AI-gateway deden we dezelfde aanroep steeds opnieuw, met vaste instellingen en een vaste seed:

  • Direct na het laden van het model kwam er steeds letterlijk hetzelfde antwoord.
  • Als tweede aanroep op het al geladen model kwam er een ánder antwoord, maar ook dat was steeds hetzelfde.
  • Het verschil: bij de tweede aanroep kwamen twee stukjes van de vraag uit de cache van het model. De rest werd daardoor in andere blokken doorgerekend en anders afgerond.

Het antwoord hangt dus niet alleen af van de vraag en de seed, maar ook van wat het model net daarvoor deed.

Het verschil zit vaak in één woord. Kiest het model vroeg in het antwoord, door de cache of door hoe delen van de prompt op elkaar inwerken, een ander woord, dan loopt alles daarna anders. Daarmee is AI minder voorspelbaar en minder reproduceerbaar dan het lijkt. Bijna terug bij de ponskaart, waar één verschoven teken ook alles veranderde.

Wat het betekent

  • Controles schommelen. Een controle die hetzelfde antwoord de ene keer goedkeurt en de andere keer afkeurt, hoeft niet twijfelachtig te zijn: ze kan simpelweg op een model draaien dat net iets anders deed.
  • Testen vergelijkt appels met peren. Twee testruns zijn alleen vergelijkbaar als ze in dezelfde toestand beginnen.
  • Meerdere metingen zijn niet vanzelf onafhankelijk. Wie drie keer meet, vergelijkt soms uitkomsten uit drie verschillende toestanden.

Onze aanpak

  • Deterministisch eerst. Alles wat met gewone code te berekenen of op te zoeken is, doet de code; daar speelt dit niet.
  • Nooit één meting. Bij belangrijke vragen kijken we naar een dwarsdoorsnede van meerdere antwoorden. Een ander model controleert de antwoorden. We weten nu ook dat die metingen in een gelijke toestand moeten beginnen.
  • Testen in dezelfde toestand. Bij vergelijkende tests laten we het model opnieuw laden, zodat elke run gelijk start.
  • Vastleggen en meten. Elke bevinding komt in een logboek, met metingen en bronnen. Zo blijft de AI verklaarbaar.
  • Eerlijk over wat nog openstaat: hoe elke belangrijke aanroep goedkoop in dezelfde toestand begint. Opnieuw laden werkt, maar kost tijd.

Waar let u op

  • Een vaste seed is geen garantie voor hetzelfde antwoord.
  • Laat beslissingen die ertoe doen niet afhangen van één AI-antwoord.
  • Wilt u uitkomsten kunnen herhalen, leg dan ook de toestand vast: welk model, welke instellingen, en wat er vlak daarvoor gebeurde.

Wilt u advies over het gedrag van AI-modellen? Vraag een gratis adviesgesprek aan.

Bronnen

Bijgewerkt op

Verder lezen

Alle artikelen over AI
AI

Persoonsgegevens in de AI-cloud: wie kijkt er mee?

Een gesprek met een AI-dienst in de cloud is niet vanzelf privé. Een zaak in Canada laat zien wat een aanbieder kan zien en delen. Wat betekent dat voor de AVG, en voor de regels in Zwitserland en daarbuiten?