Warum ich mich auf den Weg gemacht habe
Als begeisterte Technologie-Anwenderin stört mich zunehmend die Abhängigkeit von großen Tech-Konzernen wie Microsoft, Google und OpenAI. Ich möchte die Kontrolle über meine Daten zurückgewinnen, ohne dabei auf die Vorteile moderner (KI-)Automatisierung verzichten zu müssen und das sowohl für meine Büroprojekte als auch für private Vorhaben.
Der Inspirationsmoment
Den entscheidenden Anstoß bekam ich auf der #loscon25 (siehe dazu auch #1). Simon Dückert hat dort gezeigt, dass eine professionelle Dokumentation einer 2-Tagesveranstaltung auch mit eigenen KI-Systemen und unabhängig von den großen Anbietern laufen kann. Wer sich das Ganze im Detail anschauen möchte, kann das hier tun. Etwas versteckt ist auch die Dokumentation selbst abgelegt. Wichtig dabei zu wissen: diese ist absichtlich ohne „Human in the loop“ erstellt, um zu zeigen, was mit KI bereits heute alles geht. Von dieser Demonstration inspiriert, beschloss ich, meine eigene KI-Infrastruktur aufzubauen.
Von der Theorie zur Praxis
Mit Nele Hirschs ermutigender Beschreibung an der Hand und einem ergänzenden Youtube-Tutorial von Harald Frey wagte ich mich an den praktischen Aufbau. Der mich, insbesondere wegen bei mir nur rudimentär vorhandenem Linux-Wissen, einiges an Zeit gekostet hat.
Meine technische Grundausstattung
Heute läuft auf meinem Server eine komplette (KI-)Suite:
- Ollama für lokale KI-Modelle
- Open WebUI als benutzerfreundliche Oberfläche
- n8n für Workflows und Automatisierungen mit und ohne KI
- Whisper für die Transkription
Automatisierungen im Überblick
Und die ersten Automatisierungen sind auch schon fertiggestellt:
- Transkription von Sprachnachrichten aus Nextcloud-Talk (work in progress)
- Ein KI-gesteuertes Redaktionsteam, was gemeinsam einen Text verbessert
- Ein Tool zum Sammeln von Blogideen
- Automatische Zusammenfassung von (Web-)Texten und Analyse, ob sie zu meinen Interessen passen (work in progress)
Erste Erfahrungen und Herausforderungen
Nach der erfolgreichen Installation dieser Tools begann die spannende Phase des Lernens und der ersten Gehversuche. Dabei zeigten sich schnell einige unerwartete Herausforderungen. Neben meinen nicht vorhandenen Linux-Kenntnissen gehörten dazu vor allem der Speicherplatz (80 GB) meines angemieteten Servers, der für 4 mittlere lokale LLM und Whisper für die Transkription an die Grenzen kam sowie das Erstellen von API-Keys für die Anbindung in n8n.
Was mich heute dann sehr zum Lachen gebracht hat, war ein Dialog mit meiner KI. Bis dahin hatte sie mich tatkräftig beim Aufbau meiner Infrastruktur unterstützt, meinte dann jedoch mir zu raten, dass ich alle Docker runterfahre, um Speicher zu bereinigen. Ich bin der Anweisung gefolgt und habe mich dann gewundert, warum meine Dialogpartnerin plötzlich so schweigsam war. Sie lief natürlich auch in einem Docker, den ich soeben runtergefahren hatte. Mein Learning an dieser Stelle: KI ist ein wertvolles Werkzeug, die finale Entscheidung sollte aber wohlüberlegt beim Menschen liegen!
Aktuelle Situation und Ausblick
Nach diesen ersten Learnings und der grundlegenden Einrichtung konzentriere ich mich nun darauf, das System optimal für meine Bedürfnisse zu konfigurieren. Während ich mir verschiedene Unterstützungsworkflows für meine tägliche Arbeit überlege und diese versuche umzusetzen, mache ich nun erste Erfahrungen mit den verschiedenen LLM. Was gibt es für Laufzeiten, wie ist die Performance und an welcher Stelle ist eine eigene KI sinnvoll und wann kann man getrost auf Cloud-KI zurückgreifen. Die Erkenntnisse daraus werden in einen separaten Artikel einfließen.
Eine Anmerkung zum Schluss
Ich bin keine gelernte KI-Expertin, sondern begeisterte Autodidaktin. Mein Weg ist deshalb bestimmt an manchen Stellen umständlich oder auch anders effektiver umzusetzen. Deshalb bitte bei allen Tipps und Anmerkungen ggf. selbst recherchieren und ausprobieren. Gebt mir gerne Feedback, wenn etwas anders besser zu lösen ist.
Ich glaube, dass wir um die Anwendung von KI zukünftig nicht mehr herumkommen. Umso wichtiger finde ich es, dass wir die Potenziale von KI sehen und nutzen, ohne die Grenzen aus den Augen zu verlieren.
| Heute gelernt beim … | Aufsetzen meines eigenen KI-Servers |
| So lange hat’s gedauert | 4 Stunden (für Open WebUI und Ollama) 7 Stunden (für n8n und Whisper) 4 Stunden (für das Erstellen von APIs mit jeweiligem Lesen der entsprechenden Dokumentationen) 30 Stunden (für die ersten Workflows) |
| Drei Aha-Momente später … | – KI im Dialog ist ein guter Sparringspartner – Speicher ist manchmal doch alles – ein KI-Workflow sollte erstmal auf der Metaebene (Whitebord oder Papier) geplant werden, bevor man ihn in n8n umsetzt |