In het kort
Open AI-modellen zijn gratis te gebruiken en op eigen hardware te draaien. Ze weten veel, maar niet alles van uw vakgebied. Twee technieken maken ze geschikt voor eigen gebruik: LoRA om ze bij te trainen, en quantisatie om ze compact te maken.
Fine-tuning en LoRA
Fine-tuning is een bestaand model verder trainen op uw eigen voorbeelden. Het hele model bijwerken kost veel rekenkracht. LoRA (Low-Rank Adaptation) laat het basismodel ongemoeid en traint alleen een kleine aanvulling, vaak minder dan één procent van de omvang. Die aanvulling kunt u later in het model opnemen.
Wat dat in de praktijk betekent: een model van zeven miljard parameters bijtrainen kan op één krachtige werkplek, in een paar uur.
Quantisatie
Een model bestaat uit miljarden getallen. Quantisatie slaat die op met minder precisie, bijvoorbeeld 4 bits in plaats van 16. Dat verkleint het modelbestand. Wat dit doet met snelheid en kwaliteit kunt u op uw eigen hardware en met uw eigen testvragen meten. Een model van 14 GB past zo in ongeveer 4,5 GB. Gangbare formaten zijn GGUF (onder andere voor Ollama en llama.cpp) met varianten als Q4_K_M.
Fine-tuning of RAG?
- RAG (documenten opzoeken en meegeven) voor kennis die verandert: tarieven, klanten, procedures.
- Fine-tuning voor vaardigheden en vaste vormen: een programmeertaal, een schrijfstijl, een vast antwoordformaat.
Vaak is de combinatie het sterkst. Wij trainen bijvoorbeeld een klein model om ABAP te schrijven, terwijl de actuele kennis over het SAP-systeem via opzoeken binnenkomt.
Waar let u op
- Goede voorbeelden zijn belangrijker dan veel voorbeelden. Controleer ze, liefst automatisch.
- Meet voor en na met een vaste set testvragen.
- Let op de licentie van het basismodel: niet elk open model mag zakelijk worden gebruikt.
Wilt u advies over het bijtrainen van AI-modellen? Vraag een gratis adviesgesprek aan.
Bijgewerkt op