Zoals ik in mijn vorig artikel heb uitgelegd. Er is buiten de geijkte paden van chatGPT een hele wereld van decentrale AI. En met decentraal bedoel ik selfhosted. Het feit dat je LLM’s(large language models) helemaal lokaal geïsoleerd kan draaien is de definitie van decentraal. Eigenlijk zelfs gedistribueerd los van het internet.

Soit, ik dwaal af. Ik liet me even gaan in details. Terug terzake Steven! Voor de data wetenschapper is dit oud nieuws, maar je kan dus AI models lokaal op je laptop installeren. En het is nog eens verbazend gemakkelijk. Deepseek heeft dit allemaal onder de aandacht van het grote publiek gebracht.

Voordat je iets zeg, deepseek lokaal runnen IS veilig, het communiceerd tiet met een of andere Chinese server. Als je echt echt zeker wil zijn kan je dit in docker of podman draaien. En voor de echte paranoidïe mensen, een VM machine met daarop docker en daarin de LLM, dat terzijde.

Dus hoe doe je dat nu allemaal? Ikzelf heb onderzoek gedaan en ga het wiel niet opnieuw uitvinden. Er zijn bergen goeie video’s te vinden. Een paar van mijn favorieten zijn van NetworkChuck. Maar ook Lawrence Systems, Naomi Brockwell TV en Cristian Lempa hebben hele goeie stappenvideo’s. Dus ik ga ze hieronder linken om jullie alvast een goeie start te geven.

host ALL your AI locally,
 Run your own AI (but private), 
Getting Up and Running with Ollama ,
How To Host AI Locally: Ollama and Open WebUI,
Self-Host a local AI platform! Ollama + Open WebUI

Hier zijn ook een paar video’s rond privacy risico’s van Naomi Brockwell en Rob Braxman.

LLM away met deze opties. Maar! Locally, selfhosted en privé!