Naar de inhoud

Een open AI-model bijtrainen: LoRA en quantisatie

Met LoRA leert u een open AI-model uw eigen vakgebied zonder het helemaal opnieuw te trainen, en met quantisatie maakt u het klein genoeg om op eigen hardware te draaien.

In het kort

Open AI-modellen zijn gratis te gebruiken en op eigen hardware te draaien. Ze weten veel, maar niet alles van uw vakgebied. Twee technieken maken ze geschikt voor eigen gebruik: LoRA om ze bij te trainen, en quantisatie om ze compact te maken.

Fine-tuning en LoRA

Fine-tuning is een bestaand model verder trainen op uw eigen voorbeelden. Het hele model bijwerken kost veel rekenkracht. LoRA (Low-Rank Adaptation) laat het basismodel ongemoeid en traint alleen een kleine aanvulling, vaak minder dan één procent van de omvang. Die aanvulling kunt u later in het model opnemen.

Wat dat in de praktijk betekent: een model van zeven miljard parameters bijtrainen kan op één krachtige werkplek, in een paar uur.

Quantisatie

Een model bestaat uit miljarden getallen. Quantisatie slaat die op met minder precisie, bijvoorbeeld 4 bits in plaats van 16. Dat verkleint het modelbestand. Wat dit doet met snelheid en kwaliteit kunt u op uw eigen hardware en met uw eigen testvragen meten. Een model van 14 GB past zo in ongeveer 4,5 GB. Gangbare formaten zijn GGUF (onder andere voor Ollama en llama.cpp) met varianten als Q4_K_M.

Fine-tuning of RAG?

  • RAG (documenten opzoeken en meegeven) voor kennis die verandert: tarieven, klanten, procedures.
  • Fine-tuning voor vaardigheden en vaste vormen: een programmeertaal, een schrijfstijl, een vast antwoordformaat.

Vaak is de combinatie het sterkst. Wij trainen bijvoorbeeld een klein model om ABAP te schrijven, terwijl de actuele kennis over het SAP-systeem via opzoeken binnenkomt.

Waar let u op

  • Goede voorbeelden zijn belangrijker dan veel voorbeelden. Controleer ze, liefst automatisch.
  • Meet voor en na met een vaste set testvragen.
  • Let op de licentie van het basismodel: niet elk open model mag zakelijk worden gebruikt.

Wilt u advies over het bijtrainen van AI-modellen? Vraag een gratis adviesgesprek aan.

Bijgewerkt op

Verder lezen

Alle artikelen over AI
AI

Persoonsgegevens in de AI-cloud: wie kijkt er mee?

Een gesprek met een AI-dienst in de cloud is niet vanzelf privé. Een zaak in Canada laat zien wat een aanbieder kan zien en delen. Wat betekent dat voor de AVG, en voor de regels in Zwitserland en daarbuiten?