In het kort
Ollama maakt lokale AI eenvoudig. U installeert het op een computer of server, kiest een open model (zoals Gemma, Llama, Qwen of Mistral) en start dat model op de eigen machine. Applicaties praten met Ollama via een eenvoudige web-API op de eigen machine, vergelijkbaar met de API's van de grote AI-aanbieders. Bij volledig lokale verwerking blijven de invoer en de antwoorden in uw eigen omgeving.
Hoe werkt het
- Modellen downloaden met één opdracht, in een compact formaat (GGUF) dat ook op gewone hardware past.
- Draaien op de grafische kaart of Apple Silicon, voor snelheid. Op een Mac met veel geheugen draaien ook grote modellen goed.
- Meerdere modellen naast elkaar, waarbij het beschikbare geheugen bepaalt welke modellen tegelijk geladen kunnen blijven.
Wat heeft u nodig
Het geheugen bepaalt welke modellen passen. Een klein model van een paar miljard parameters draait op een gewone laptop. Modellen van twintig tot dertig miljard parameters vragen een werkplek of server met veel geheugen. Reken naast het model zelf ook ruimte voor de context: hoe langer de teksten die u meegeeft, hoe meer geheugen.
Waar gebruikt u het voor
- Een interne assistent die vragen over uw eigen documenten beantwoordt.
- Teksten samenvatten, vertalen of controleren.
- Gegevens uit documenten halen.
- Als motor achter een eigen AI-toepassing, bijvoorbeeld met modelescalatie tussen kleine en grote modellen.
Waar let u op
- Kies het model bij de taak. Een klein model is snel, maar verzint sneller dingen.
- Let op de licentie van elk model.
- Richt beheer goed in: welke modellen zijn geladen, hoe lang blijven ze in het geheugen, en wie mag de API gebruiken.
Wilt u advies over Ollama? Vraag een gratis adviesgesprek aan.
Bijgewerkt op