In het kort
RAG staat voor retrieval-augmented generation: eerst ophalen, dan antwoorden. Een taalmodel kent uw bedrijf niet. Daarom zoekt het systeem bij elke vraag de relevante passages uit uw eigen documenten op en geeft die mee. Het model antwoordt dan op basis van uw gegevens, met bronvermelding.
Waarom minder context beter werkt
Het is verleidelijk om een model gewoon alles te geven: het hele dossier, alle handleidingen. Maar hoe meer tekst, hoe groter de kans dat het model de belangrijke zin over het hoofd ziet of dingen door elkaar haalt. In onze eigen metingen ging een vraag die met een volledig dossier fout ging, goed toen het model alleen de paar relevante feiten kreeg, en dat in een fractie van de tijd.
De bibliothecaris
Wij werken met het beeld van een bibliothecaris:
- Uw gegevens worden opgeknipt in kaartjes: elk kaartje één bewering, met een verwijzing naar het oorspronkelijke boek (het document).
- Bij een vraag kiest de bibliothecaris de kaartjes die ertoe doen, en wijst zo nodig het boek aan dat het model moet lezen.
- Het model krijgt dus een paar duizend woorden in plaats van tienduizenden.
Zoeken: niet alleen op betekenis
De bekende manier van zoeken is op betekenis (embeddings): teksten die op elkaar lijken, liggen dicht bij elkaar. Dat werkt voor algemene vragen, maar mist vaak het ene feit dat telt. In een test stond het sleutelkaartje met alleen betekeniszoeken op plaats 533 van ruim 5.500. Met een vaste rangorde (eerst exacte namen en begrippen uit de vraag, dan de betrouwbaarheid van de bron, pas daarna betekenis) stond het bovenaan.
Waar let u op
- Knip uw gegevens zo op dat één stuk één ding zegt, en bewaar de verwijzing naar de bron.
- Combineer zoekmethodes; vertrouw niet alleen op betekeniszoeken.
- Laat het model zijn bronnen noemen, zodat een mens het kan nakijken.
- Gaat het om een vaardigheid in plaats van kennis, zoals een programmeertaal of een vaste schrijfstijl? Dan is fine-tuning vaak beter dan RAG.
Wilt u advies over RAG? Vraag een gratis adviesgesprek aan.
Bijgewerkt op