Het probleem
Wie AI inzet voor controles, rapportages of beslissingen, wil dat dezelfde vraag hetzelfde antwoord geeft: om te testen, om uitkomsten na te gaan, om te kunnen uitleggen waarom iets zo is beslist. Daarvoor zet men de "temperatuur" laag of geeft men een vaste seed mee. Toch blijkt dat geen garantie. Aanbieders noemen een seed zelf "best-effort": een poging, geen belofte. Dit verschijnsel heet nondeterminisme.
Hoe afronding een verschil kan veroorzaken
Een taalmodel rekent met miljarden getallen, en computers ronden daarbij af. De volgorde waarin optellingen gebeuren, bepaalt hoe die afronding precies uitvalt. Rekenkernen splitsen hun werk anders op naarmate er meer of minder werk tegelijk is. Een piepklein verschil kan vroeg in het antwoord een ander woord opleveren, en daarna loopt de rest van het antwoord anders. Het onderzoeksbedrijf Thinking Machines Lab liet in 2025 zien hoe de volgorde van berekeningen tot verschillende uitkomsten kan leiden. Ook llama.cpp, de motor onder Ollama, waarschuwt ervoor: met de prompt-cache aan zijn uitkomsten niet gegarandeerd tot op de bit gelijk.
Wat wij zelf zagen
In onze eigen lokale AI-gateway deden we dezelfde aanroep steeds opnieuw, met vaste instellingen en een vaste seed:
- Direct na het laden van het model kwam er steeds letterlijk hetzelfde antwoord.
- Als tweede aanroep op het al geladen model kwam er een ánder antwoord, maar ook dat was steeds hetzelfde.
- Het verschil: bij de tweede aanroep kwamen twee stukjes van de vraag uit de cache van het model. De rest werd daardoor in andere blokken doorgerekend en anders afgerond.
Het antwoord hangt dus niet alleen af van de vraag en de seed, maar ook van wat het model net daarvoor deed.
Het verschil zit vaak in één woord. Kiest het model vroeg in het antwoord, door de cache of door hoe delen van de prompt op elkaar inwerken, een ander woord, dan loopt alles daarna anders. Daarmee is AI minder voorspelbaar en minder reproduceerbaar dan het lijkt. Bijna terug bij de ponskaart, waar één verschoven teken ook alles veranderde.
Wat het betekent
- Controles schommelen. Een controle die hetzelfde antwoord de ene keer goedkeurt en de andere keer afkeurt, hoeft niet twijfelachtig te zijn: ze kan simpelweg op een model draaien dat net iets anders deed.
- Testen vergelijkt appels met peren. Twee testruns zijn alleen vergelijkbaar als ze in dezelfde toestand beginnen.
- Meerdere metingen zijn niet vanzelf onafhankelijk. Wie drie keer meet, vergelijkt soms uitkomsten uit drie verschillende toestanden.
Onze aanpak
- Deterministisch eerst. Alles wat met gewone code te berekenen of op te zoeken is, doet de code; daar speelt dit niet.
- Nooit één meting. Bij belangrijke vragen kijken we naar een dwarsdoorsnede van meerdere antwoorden. Een ander model controleert de antwoorden. We weten nu ook dat die metingen in een gelijke toestand moeten beginnen.
- Testen in dezelfde toestand. Bij vergelijkende tests laten we het model opnieuw laden, zodat elke run gelijk start.
- Vastleggen en meten. Elke bevinding komt in een logboek, met metingen en bronnen. Zo blijft de AI verklaarbaar.
- Eerlijk over wat nog openstaat: hoe elke belangrijke aanroep goedkoop in dezelfde toestand begint. Opnieuw laden werkt, maar kost tijd.
Waar let u op
- Een vaste seed is geen garantie voor hetzelfde antwoord.
- Laat beslissingen die ertoe doen niet afhangen van één AI-antwoord.
- Wilt u uitkomsten kunnen herhalen, leg dan ook de toestand vast: welk model, welke instellingen, en wat er vlak daarvoor gebeurde.
Wilt u advies over het gedrag van AI-modellen? Vraag een gratis adviesgesprek aan.
Bronnen
Bijgewerkt op