Viele Unternehmen möchten KI nutzen, ohne vertrauliche Dokumente an einen externen Dienst zu geben. Lokale Modelle verarbeiten Anfragen auf eigener Infrastruktur. Das verschafft Kontrolle, ersetzt aber nicht die Verantwortung für Betrieb und Absicherung.
Drei Betriebswege
Eigene vorhandene Hardware: geeignet für Tests und kleine Modelle.
Neu angeschaffte Hardware: ein Server mit passender Grafikkarte für dauerhaften Einsatz.
GPU-Cloud-Server bei Hetzner: gemietete Leistung ohne Anschaffung, Standort und Konditionen vorab prüfen.
Was zur Einrichtung gehört
Anwendungsfall und Nutzerkreis klären.
Hardware dimensionieren, Modell auswählen und Lizenz prüfen.
Zugriff auf das interne Netz beschränken, Updates und Protokollierung festlegen.
Optional eigene Dokumente anbinden (siehe Artikel zu RAG).
Grenzen
Lokale Modelle sind oft kleiner als die größten Cloud-Modelle. Für viele Aufgaben wie Zusammenfassen, Entwerfen und Suchen reichen sie, bei sehr anspruchsvollen Aufgaben kann ein Cloud-Dienst besser sein. Ein Test mit Ihren echten Aufgaben zeigt das schnell.
lokale KIOllama UnternehmenKI on-premisesprivate KISprachmodell lokalOllama Einrichtung
Häufige Fragen
Ist Ollama kostenlos?
Die Software ist quelloffen. Kosten entstehen für Hardware oder gemietete Server, Einrichtung und Betrieb. Modelle haben eigene Lizenzbedingungen.
Kann ich Ollama auf Proxmox betreiben?
Ja, grundsätzlich lässt es sich in einer virtuellen Umgebung betreiben. Für Grafikkarten ist die Durchreichung zu planen.
Brauche ich eine Grafikkarte?
Für flüssige Antworten bei größeren Modellen ja. Kleine Modelle laufen auch ohne, sind dann aber langsamer.