Möchte man eine spezielle Datenmenge mit einem KI-Chat verbinden, so muss man diese Daten in einer speziellen Art und Weise mit dem Chat-System verbinden, die man RAG (Retrieval Augmented Generation) nennt. Man benötigt dazu eine Suchmaschine für diese speziellen Daten und ein Chat-System, das die Suche in dieser Suchmaschine durchführt. Hier bietet es sich an, in YaCy einen KI-Chat einzubauen, damit der YaCy-Suchindex für den Chat genutzt werden kann. Genau das haben wir gemacht und zeigen: - wie man in YaCy einen geeigneten Suchindex aufbaut, - wie man ein lokales LLM Inference System installiert (mit Ollama), - wie man YaCy so konfiguriert, dass es das LLM verwendet, - wie das Chat System in YaCy aussieht. Das ist genau die Lösung für das, was ansonsten bei Cloud-Diensten als »GPT« oder »Agent« angeboten wird. Hier ist es aber ein KI/RAG-System, das auf dem eigenen Rechner läuft und damit auch im Intranet oder für private Daten geeignet ist.

Wie betreibt man KI Agenten völlig privat oder wenn der Internetzugang weg ist und/oder Cloud-Dienste verschwinden? Mit Open-Weight-LLMs kann man sich eigene lokale KI-Agenten bauen: kleine Worker mit Shell-Zugriff, Tool-Calls, lokaler Suche und einfachen Automationen — komplett ohne Cloud. Wir verknüpfen auch privates Wissen (Datenbanken/Suchmaschinen/Datei-Sammlungen) und Skill-Sammlungen. Im Vortrag zeigen wir einen winzigen Coding-Agenten („OPX“) und bauen mit seinen Komponenten kleine Helfer. Das läuft auf normaler Hardware, funktioniert offline und fühlt sich ein bisschen an wie ein Werkzeugkasten für digitale Krisenvorsorge.