Baue deine eigenen KI-Agenten mit lokalen LLMs
Coding Agents, LLMs mit Bash-Zugriff und autonome Worker — alles lokal und ohne Cloud
Wie betreibt man KI Agenten völlig privat oder wenn der Internetzugang weg ist und/oder Cloud-Dienste verschwinden?
Mit Open-Weight-LLMs kann man sich eigene lokale KI-Agenten bauen: kleine Worker mit Shell-Zugriff, Tool-Calls, lokaler Suche und einfachen Automationen — komplett ohne Cloud. Wir verknüpfen auch privates Wissen (Datenbanken/Suchmaschinen/Datei-Sammlungen) und Skill-Sammlungen.
Im Vortrag zeigen wir einen winzigen Coding-Agenten („OPX“) und bauen mit seinen Komponenten kleine Helfer. Das läuft auf normaler Hardware, funktioniert offline und fühlt sich ein bisschen an wie ein Werkzeugkasten für digitale Krisenvorsorge.
Der Vortrag zeigt, wie KI-Agenten funktionieren, wenn man sie auf das Wesentliche reduziert: ein LLM, ein Prompt, ein paar Werkzeuge und eine Schleife, die so lange läuft, bis das Modell keine weiteren Tools mehr benötigt, um eine Antwort zu erzeugen.
Als Grundlage dient der kleine Bash-Agent OPX. Er läuft mit Ollama-Modellen und besitzt nur wenige Werkzeuge, zum Beispiel bash und write_file. Genau dadurch wird sichtbar, wie moderne Coding-Agenten intern arbeiten: Das Modell fordert Werkzeuge an, bekommt Ergebnisse zurück und entscheidet dann über den nächsten Schritt.
Im Vortrag wird dieser Agenten-Loop auseinandergebaut und erweitert: Modelle starten, Tool-Calls verstehen, Shell-Kommandos absichern, Dateien schreiben, Git-Diffs analysieren, lokale Datenquellen anbinden und daraus kleine autonome Worker bauen.
Dazu zeigen wir die notwendigen Grundlagen: Ollama installieren, passende Modelle auswählen, eine lokale Suchmaschine (YaCy/elasticsearch) mit Daten bestücken und diese dann mit dem Agenten verknüpfen. Außerdem bauen wir einfache autonome Worker, die per cron-job oder als kleine Hintergrunddienste laufen.
Es geht dabei nicht um den perfekten Super-Agenten, sondern um einen einfachen hackbaren Baukasten: Was kann man mit wenigen Komponenten bauen, wenn keine Cloud-API vorhanden ist?
So entstehen aus LLMs, Unix-Werkzeugen und ein paar hundert Zeilen Skriptcode kleine private Agentensysteme, die nachvollziehbar, erweiterbar und komplett unter eigener Kontrolle bleiben.
Speakers
Michael Christen
Michael Christen is maintainer of the YaCy Search Engine Software. He has a Masters Degree in...