KI-Chat mit eigener Suchmaschine: RAG in YaCy
Wir zeigen wie man große Datenmengen, auch private oder Unternehmensdaten in einem KI-Chat einbindet
Möchte man eine spezielle Datenmenge mit einem KI-Chat verbinden, so muss man diese Daten in einer speziellen Art und Weise mit dem Chat-System verbinden, die man RAG (Retrieval Augmented Generation) nennt. Man benötigt dazu eine Suchmaschine für diese speziellen Daten und ein Chat-System, das die Suche in dieser Suchmaschine durchführt.
Hier bietet es sich an, in YaCy einen KI-Chat einzubauen, damit der YaCy-Suchindex für den Chat genutzt werden kann. Genau das haben wir gemacht und zeigen:
- wie man in YaCy einen geeigneten Suchindex aufbaut,
- wie man ein lokales LLM Inference System installiert (mit Ollama),
- wie man YaCy so konfiguriert, dass es das LLM verwendet,
- wie das Chat System in YaCy aussieht.
Das ist genau die Lösung für das, was ansonsten bei Cloud-Diensten als »GPT« oder »Agent« angeboten wird. Hier ist es aber ein KI/RAG-System, das auf dem eigenen Rechner läuft und damit auch im Intranet oder für private Daten geeignet ist.
YaCy steht seit langem für Unabhängigkeit und Selbstbestimmung. Suchmaschinen sind für KI-Anwendungen notwendig wenn große Wissensdaten, die ansonsten nicht im KI-Modell angelernt wurden im KI Chat benötigt werden. In diesem Kontext ist der Betrieb eines eigenen KI Modell und einer eigenen Suchmaschine die Loslösung von Cloud-Anbietern und steht damit ganz gut im Track "It's the end of the world as we know it" und Krisenvorsorge.
Der Vortrag hat workshop-Eigenschaften und wird wie ein Tutorial vorgeführt, allerdings ist es aufgrund der verwendeten Datenmengen nicht in der gleichen Zeit möglich, dass Zuhörende das ganze mitmachen können - einfach aufgrund des zu erwartenden Datendurchsatzes.
Speakers
Michael Christen
Michael Christen is maintainer of the YaCy Search Engine Software. He has a Masters Degree in...