Was ist Ollama?
Ollama ist eine quelloffene Software, mit der sich offene Sprachmodelle auf eigener Hardware ausführen lassen. Sie lädt Modelle herunter, startet sie und stellt eine lokale Schnittstelle bereit, die sich mit Chat-Oberflächen, Dokumentensuche und eigenen Anwendungen verbinden lässt. Die Anfragen werden auf Ihrer eigenen Infrastruktur verarbeitet und nicht an einen externen KI-Dienst gesendet.
Drei Wege, Ollama zu betreiben
- <b>Auf vorhandener Hardware:</b> Ein geeigneter Server oder Arbeitsplatzrechner im Unternehmen wird mitgenutzt. Sinnvoll für Tests und kleine Modelle.
- <b>Auf neu angeschaffter Hardware:</b> Ein Server mit passender Grafikkarte wird gezielt für KI beschafft und dimensioniert. Sinnvoll bei dauerhafter Nutzung und hohen Anforderungen an Kontrolle.
- <b>Auf GPU-Cloud-Servern bei Hetzner:</b> Die Rechenleistung wird gemietet, ohne Hardware zu kaufen. Standort, Verfügbarkeit und Konditionen sollten vor der Entscheidung geprüft werden.
Typische Einsatzszenarien
- Interner Assistent für Texte, Zusammenfassungen und Übersetzungen ohne Datenabfluss.
- Suche und Fragen an eigene Dokumente (Retrieval-Augmented Generation).
- Hilfe bei Dokumentation, Tickets und Wissensdatenbanken.
- Experimente und Proofs of Concept in den INZOSO Labs, bevor investiert wird.
Vorteile und Grenzen
Zu den Vorteilen zählen die Kontrolle über Daten und Modelle, keine Bindung an einen Anbieter und planbare Kosten. Grenzen liegen bei der Hardware: Die Qualität hängt von Modellgröße und Grafikspeicher ab, und große Modelle brauchen leistungsfähige Server. Hinzu kommen Betrieb, Updates und Absicherung, die Sie selbst oder ein Dienstleister leisten müssen. Offene Modelle haben eigene Lizenzbedingungen, die vor dem Einsatz zu lesen sind.
Datenschutz und Sicherheit: Prüfpunkte
- Wo laufen Server und Daten, und wer hat Zugriff?
- Ist die Schnittstelle nur intern erreichbar und durch Anmeldung geschützt?
- Welche Lizenz hat das gewählte Modell, ist die gewerbliche Nutzung erlaubt?
- Werden Eingaben und Antworten protokolliert, und wie lange?
- Bei Cloud-Servern: Auftragsverarbeitung, Standort und Löschkonzept klären.
Wie INZOSO bei Ollama hilft
Wir klären Anwendungsfall und Anforderungen, dimensionieren die Hardware oder den GPU-Server, installieren Ollama, wählen passende Modelle, binden Ihre Dokumente an und sichern den Zugang ab. Auf Wunsch übernehmen wir Betrieb und Updates. Zum Ausprobieren bauen wir zuerst einen Proof of Concept in den Labs.