Was ist RAG? Retrieval-Augmented Generation verständlich erklärt
Was ist RAG (Retrieval-Augmented Generation)? So funktioniert es Schritt für Schritt, wann es Fine-Tuning schlägt, typische Fehler und wie Sie es evaluieren.
Door Ingmar van Maurik · Founder & CEO, Making Moves
Kurze Antwort
RAG (Retrieval-Augmented Generation) ist ein Verfahren, mit dem ein Sprachmodell Fragen auf Basis Ihrer eigenen Dokumente beantwortet. Bei jeder Frage sucht das System zuerst die passenden Textstellen heraus, etwa aus dem Mitarbeiterhandbuch, und gibt sie zusammen mit der Frage an das Modell. Das Modell formuliert dann eine Antwort mit Quellenangabe. So erhalten Sie aktuelle, überprüfbare Antworten, ohne das Modell neu zu trainieren. Ob ein RAG-System gut funktioniert, entscheidet vor allem der Suchteil: Findet es die richtigen Stellen, und nur die Stellen, die die fragende Person sehen darf?
Warum es RAG gibt
Ein Sprachmodell weiß nur, was in seinen Trainingsdaten stand. Es kennt Ihre Urlaubsregelung nicht, hat die Änderung der Reiserichtlinie vom letzten Monat nicht gesehen und kann Ihr internes Wiki nicht lesen. Fragen Sie trotzdem, erhalten Sie oft eine plausibel klingende, aber erfundene Antwort.
RAG löst das, indem das Modell Informationen nachschlägt, statt sie "auswendig zu wissen". Der Begriff stammt aus einem Forschungspapier von 2020 und ist inzwischen der Standardansatz für interne Assistenten, Wissensdatenbanken und Kundenservice auf Basis eigener Dokumentation.
So funktioniert RAG, Schritt für Schritt
1. Dokumente sammeln. Richtlinien, Handbücher, Stellenprofile, FAQs. Mit Metadaten: Wer ist verantwortlich, wann wurde es zuletzt aktualisiert, wer darf es lesen.
2. Chunking. Dokumente werden in kleinere Abschnitte zerlegt, etwa pro Absatz oder Kapitel. Zu kleine Abschnitte verlieren Kontext, zu große enthalten Rauschen. Gutes Chunking folgt der Struktur des Dokuments.
3. Embeddings. Jeder Abschnitt wird in ein Embedding umgewandelt: eine lange Zahlenfolge, die die Bedeutung des Textes abbildet. Texte mit ähnlicher Bedeutung erhalten ähnliche Zahlen, auch wenn sie andere Wörter verwenden.
4. Vektorsuche. Auch die Frage wird in ein Embedding umgewandelt. Eine Vektordatenbank findet die Abschnitte, deren Bedeutung der Frage am nächsten kommt. Oft wird das mit klassischer Stichwortsuche kombiniert (hybride Suche), weil die Vektorsuche Codes, Namen oder exakte Begriffe übersehen kann.
5. Reranking. Ein zweites, präziseres Modell bewertet die Kandidaten erneut und sortiert die relevantesten nach oben. Nur die besten wenigen kommen weiter.
6. Prompt mit Quellen. Die ausgewählten Abschnitte werden mit der Frage in den Prompt gesetzt, dazu eine Anweisung wie: Antworte nur auf Basis dieser Quellen und sage ehrlich, wenn die Antwort nicht darin steht.
7. Antwort mit Quellenangabe. Das Modell antwortet und verweist auf die verwendeten Abschnitte, sodass Nutzer prüfen können, woher die Aussage stammt.
Wann RAG, Fine-Tuning oder ein langes Kontextfenster?
|---|---|---|---|
In der Praxis werden die Ansätze oft kombiniert. Für "Mitarbeitende sollen unsere Richtlinien abfragen können" ist RAG aber fast immer der Ausgangspunkt.
Typische Fehlerquellen
Wie evaluieren Sie ein RAG-System?
Eine Demo mit fünf Fragen sagt wenig aus. Messen Sie so:
|---|---|
Lassen Sie dieses Set bei jeder Änderung an Chunking, Modell oder Prompt erneut laufen. So sehen Sie, ob eine Anpassung wirklich besser ist.
HR-Beispiel: ein Richtlinien-Assistent
Eine Organisation mit einigen Tausend Beschäftigten erhält in der Personalabteilung jede Woche dieselben Fragen: Wie viel Sonderurlaub gibt es bei einem Umzug, wie funktioniert die Homeoffice-Pauschale, was gilt bei Krankheit im Urlaub? Ein RAG-Assistent beantwortet diese Fragen auf Basis des aktuellen Handbuchs und Tarifvertrags, mit Link zur genauen Textstelle.
Was ihn gut macht: Nur die neueste Version jedes Dokuments ist indexiert, jedes Dokument hat eine verantwortliche Person, Führungskräfte sehen Führungsrichtlinien und Mitarbeitende nicht, und im Zweifel verweist der Assistent an eine HR-Beratung. Personalakten gehören nicht hinein.
Für Recruiter funktioniert dasselbe Prinzip als Wissensdatenbank: Stellenprofile, Interviewleitfäden und Auswahlkriterien durchsuchbar machen. Wie sich ein solches System in die Personalauswahl einfügt, lesen Sie auf unserer Seite zum AI Hiring System.
Was Sie Anbietern oder Bewerbenden stellen sollten
Ob ein Anbieter oder eine Bewerberin RAG wirklich versteht, prüfen Sie mit diesen Fragen:
1. "Wie wählen Sie die Größe der Abschnitte, und wie testen Sie diese Wahl?" Starke Antwort: hängt von den Dokumenten ab und wird mit der Retrieval Hit Rate auf einem Testset gemessen.
2. "Warum kombinieren Sie Vektorsuche mit Stichwortsuche?" Starke Antwort: Die Vektorsuche übersieht manchmal exakte Begriffe wie Codes oder Namen.
3. "Wie stellen Sie sicher, dass Mitarbeitende keine Gehaltsdokumente sehen?" Starke Antwort: Rechtefilterung beim Abrufen, gekoppelt an die Identität der Person, nicht über den Prompt.
4. "Was passiert, wenn eine Richtlinie geändert wird?" Starke Antwort: automatische Neuindexierung, Entfernen alter Versionen, Datum als Metadatum.
5. "Woran erkennen Sie, dass das System nach einer Änderung besser ist?" Starke Antwort: ein festes Testset mit Messungen zu Retrieval und Faithfulness, dazu Kosten und Latenz.
Vage Antworten wie "das Modell ist sehr intelligent" sind ein Grund nachzufragen. Mehr dazu in gute KI-Berater erkennen und KI-Kompetenzen beurteilen.
KI-Wissen strukturiert prüfen
Der KI-Kompetenztest von Making Moves prüft unter anderem, ob jemand RAG-Systeme entwerfen und beurteilen kann: Wissensfragen, Entscheidungsszenarien zu Retrieval und Rechten sowie ein Praxisfall mit erlaubter KI-Nutzung. Der Test befindet sich in einer Pilotphase und ist noch kein normierter Test. Nutzen Sie ihn als strukturierten Input neben Gesprächen und Referenzen.
Häufig gestellte Fragen
Wofür steht RAG?
RAG steht für Retrieval-Augmented Generation: Texterzeugung (Generation), ergänzt durch nachgeschlagene Informationen (Retrieval). Das Modell durchsucht zuerst Ihre Dokumente und antwortet dann.
Verhindert RAG Halluzinationen?
Es verringert sie, verhindert sie aber nicht vollständig. Wird der falsche Abschnitt abgerufen oder fasst das Modell die Quelle falsch zusammen, entstehen weiterhin Fehler. Deshalb sind Quellenangaben und Evaluation nötig.
Ist RAG sicher für vertrauliche HR-Dokumente?
Nur, wenn Rechte beim Abrufen gefiltert werden und Sie wissen, wo die Daten verarbeitet werden. Beachten Sie die DSGVO: Indexieren Sie keine Personalakten ohne klare Rechtsgrundlage und Zugriffsregeln.
Müssen wir dafür ein eigenes Modell trainieren?
Nein. RAG funktioniert mit bestehenden Modellen. Investieren Sie vor allem in gute Dokumente, Suchqualität, Rechte und Evaluation.
Zusammenfassung
Sie möchten prüfen, ob Bewerbende oder Anbieter RAG wirklich beherrschen? Sehen Sie sich den KI-Kompetenztest an oder nehmen Sie Kontakt auf.