Naar de inhoud

Modelescalatie: klein beginnen, alleen groot als het moet

Bij modelescalatie beantwoordt een klein AI-model de vraag eerst, en neemt een groter model het alleen over als het antwoord bij controle onvoldoende scoort.

In het kort

Niet elke vraag heeft het zwaarste AI-model nodig. Bij modelescalatie gaat een vraag eerst naar het kleinste model dat haar waarschijnlijk aankan. Een tweede model controleert het antwoord. Is dat nog niet zeker en volledig, dan schaalt het systeem op: het zoekt meer bewijs, of laat een groter model het antwoord verbeteren.

Hoe werkt het

  1. Beoordelen. Voordat er iets wordt beantwoord, bepaalt het systeem wat voor vraag het is: kort of complex, gesloten of open, met of zonder actuele informatie. Wat te berekenen of op te zoeken is, doet de code zelf: deterministisch eerst.
  2. Routeren. De vraag gaat naar het kleinste model dat past. Dat is snel en goedkoop.
  3. Controleren. Een controlemodel geeft het antwoord een score. Omdat een AI-model niet elke keer hetzelfde zegt (nondeterminisme), laten we bij meerdere antwoorden een ander model die antwoorden controleren. We kijken naar de dwarsdoorsnede van de uitkomsten.
  4. Opschalen of afronden. Is de score te laag, dan kiest het systeem de beste vervolgstap: breder zoeken in de eigen bronnen, gericht iets opzoeken, of een zwaarder model laten herzien. Kan alleen de gebruiker het ontbrekende leveren, dan stelt het één wedervraag.

Waarom dit werkt

De meeste vragen in een bedrijf zijn met een klein model goed te beantwoorden, mits het de juiste informatie krijgt. In onze eigen metingen ging een vraag die met een heel dossier als context fout ging, goed toen het model alleen de paar relevante feiten kreeg, en dat was ook nog vele malen sneller. Deze meting laat zien dat gerichter zoeken soms al voldoende is, en opschalen niet nodig.

Waar let u op

  • Leg vast wanneer een antwoord "goed genoeg" is. Een gesloten vraag vraagt zekerheid, een mening niet.
  • Maak elke stap zichtbaar: welk model, welke score, waarom opgeschaald. Dan is het geen zwarte doos.
  • Liever een antwoord met een eerlijke twijfelmelding dan een zelfverzekerde gok. Zo houdt u hallucinaties in de hand.

Modelescalatie maakt lokale AI op eigen hardware haalbaar: de zware modellen draaien alleen als het echt nodig is.

Wilt u advies over de keuze van AI-modellen? Vraag een gratis adviesgesprek aan.

Bijgewerkt op

Verder lezen

Alle artikelen over AI
AI

Persoonsgegevens in de AI-cloud: wie kijkt er mee?

Een gesprek met een AI-dienst in de cloud is niet vanzelf privé. Een zaak in Canada laat zien wat een aanbieder kan zien en delen. Wat betekent dat voor de AVG, en voor de regels in Zwitserland en daarbuiten?