Naar de inhoud

AI die met overtuiging onzin vertelt: controleren, vergelijken en eerlijk twijfelen

Taalmodellen verzinnen soms een bron of een bedrag en brengen dat net zo stellig als een juist antwoord. Dat is niet te voorkomen, wel te beheersen: met controle, vergelijking en een systeem dat durft te twijfelen.

Het probleem

Een taalmodel voorspelt woorden. Meestal levert dat een goed antwoord op, maar soms verzint het een feit, een bron of een bedrag, met dezelfde overtuiging. Dat heet hallucineren. Het gebeurt overal: rechtbanken wereldwijd hebben al honderden keren te maken gehad met stukken waarin verzonnen uitspraken of bronnen stonden.

Waarom het steeds terugkomt

  • Een model weet niet wat het niet weet.
  • Te veel of te weinig context vergroot de kans op fouten.
  • Een antwoord klinkt even zeker of het nu klopt of niet, dus valt de fout niet op.

Onze aanpak

  • De juiste informatie meegeven. Niet het hele dossier, maar de paar relevante feiten, met bron. Dat verkleint de kans op verzinsels.
  • Rekenen en opzoeken door code. Bedragen, datums en feiten komen uit de bron, niet uit het geheugen van het model.
  • Antwoorden laten controleren. Een model kan op dezelfde vraag verschillende antwoorden geven. We laten een ander model die antwoorden controleren. Zo krijgen we een dwarsdoorsnede. Bij getalsmatige antwoorden kan het gemiddelde daarvan een beeld geven.
  • Opschalen als het nodig is. Is de controle niet zeker, dan zoekt het systeem meer bewijs of laat het een zwaarder model herzien.
  • Eerlijk twijfelen. Blijft er twijfel, dan zegt het systeem dat, in plaats van te gokken.

Waar let u op

  • Vraag altijd om bronnen, en controleer ze bij beslissingen die ertoe doen.
  • Laat de mens beslissen waar fouten geld of reputatie kosten.
  • Meet de kwaliteit met een vaste set testvragen, zodat u ziet of een wijziging het beter of slechter maakt.

Wilt u advies over betrouwbare AI? Vraag een gratis adviesgesprek aan.

Bronnen

Bijgewerkt op

Verder lezen

Alle artikelen over AI
AI

Persoonsgegevens in de AI-cloud: wie kijkt er mee?

Een gesprek met een AI-dienst in de cloud is niet vanzelf privé. Een zaak in Canada laat zien wat een aanbieder kan zien en delen. Wat betekent dat voor de AVG, en voor de regels in Zwitserland en daarbuiten?