AI im Recruiting · 8 min Lesezeit

Was ist RAG? Retrieval-Augmented Generation verständlich erklärt

Was ist RAG (Retrieval-Augmented Generation)? So funktioniert es Schritt für Schritt, wann es Fine-Tuning schlägt, typische Fehler und wie Sie es evaluieren.

Door Ingmar van Maurik · Founder & CEO, Making Moves


Kurze Antwort

RAG (Retrieval-Augmented Generation) ist ein Verfahren, mit dem ein Sprachmodell Fragen auf Basis Ihrer eigenen Dokumente beantwortet. Bei jeder Frage sucht das System zuerst die passenden Textstellen heraus, etwa aus dem Mitarbeiterhandbuch, und gibt sie zusammen mit der Frage an das Modell. Das Modell formuliert dann eine Antwort mit Quellenangabe. So erhalten Sie aktuelle, überprüfbare Antworten, ohne das Modell neu zu trainieren. Ob ein RAG-System gut funktioniert, entscheidet vor allem der Suchteil: Findet es die richtigen Stellen, und nur die Stellen, die die fragende Person sehen darf?

Warum es RAG gibt

Ein Sprachmodell weiß nur, was in seinen Trainingsdaten stand. Es kennt Ihre Urlaubsregelung nicht, hat die Änderung der Reiserichtlinie vom letzten Monat nicht gesehen und kann Ihr internes Wiki nicht lesen. Fragen Sie trotzdem, erhalten Sie oft eine plausibel klingende, aber erfundene Antwort.

RAG löst das, indem das Modell Informationen nachschlägt, statt sie "auswendig zu wissen". Der Begriff stammt aus einem Forschungspapier von 2020 und ist inzwischen der Standardansatz für interne Assistenten, Wissensdatenbanken und Kundenservice auf Basis eigener Dokumentation.

So funktioniert RAG, Schritt für Schritt

1. Dokumente sammeln. Richtlinien, Handbücher, Stellenprofile, FAQs. Mit Metadaten: Wer ist verantwortlich, wann wurde es zuletzt aktualisiert, wer darf es lesen.

2. Chunking. Dokumente werden in kleinere Abschnitte zerlegt, etwa pro Absatz oder Kapitel. Zu kleine Abschnitte verlieren Kontext, zu große enthalten Rauschen. Gutes Chunking folgt der Struktur des Dokuments.

3. Embeddings. Jeder Abschnitt wird in ein Embedding umgewandelt: eine lange Zahlenfolge, die die Bedeutung des Textes abbildet. Texte mit ähnlicher Bedeutung erhalten ähnliche Zahlen, auch wenn sie andere Wörter verwenden.

4. Vektorsuche. Auch die Frage wird in ein Embedding umgewandelt. Eine Vektordatenbank findet die Abschnitte, deren Bedeutung der Frage am nächsten kommt. Oft wird das mit klassischer Stichwortsuche kombiniert (hybride Suche), weil die Vektorsuche Codes, Namen oder exakte Begriffe übersehen kann.

5. Reranking. Ein zweites, präziseres Modell bewertet die Kandidaten erneut und sortiert die relevantesten nach oben. Nur die besten wenigen kommen weiter.

6. Prompt mit Quellen. Die ausgewählten Abschnitte werden mit der Frage in den Prompt gesetzt, dazu eine Anweisung wie: Antworte nur auf Basis dieser Quellen und sage ehrlich, wenn die Antwort nicht darin steht.

7. Antwort mit Quellenangabe. Das Modell antwortet und verweist auf die verwendeten Abschnitte, sodass Nutzer prüfen können, woher die Aussage stammt.

Wann RAG, Fine-Tuning oder ein langes Kontextfenster?

AnsatzWas er tutGeeignet fürWeniger geeignet für

|---|---|---|---|

RAGSucht bei jeder Frage passende Abschnitte herausViele Dokumente, sich änderndes Wissen, Quellenangaben und Rechte pro NutzerAufgaben, die vor allem einen anderen Schreibstil oder ein festes Ausgabeformat brauchen Fine-TuningTrainiert das Modell mit Beispielen weiterEinheitlicher Ton, festes Format, spezielle KlassifikationsaufgabenFakten, die sich oft ändern; Wissen lässt sich nicht einfach wieder entfernen, und es gibt keine Quellen Langes KontextfensterPackt alle Dokumente in einen einzigen PromptWenige Dokumente, einmalige AnalysenGroße Wissensbestände; Kosten und Antwortzeit pro Frage steigen, und Modelle nutzen Informationen mitten in langen Texten nicht immer gleich gut

In der Praxis werden die Ansätze oft kombiniert. Für "Mitarbeitende sollen unsere Richtlinien abfragen können" ist RAG aber fast immer der Ausgangspunkt.

Typische Fehlerquellen

  • Falsche Abschnitte. Das System findet eine Stelle, die der Frage ähnelt, aber ein anderes Thema behandelt, etwa die Urlaubsregel aus einem anderen Tarifvertrag. Die Antwort klingt sicher, ist aber falsch.
  • Veraltete Dokumente. Alte und neue Version einer Richtlinie liegen beide im Index. Ohne Datum und Versionierung wählt das System zufällig.
  • Keine Rechtefilterung. Jeder kann über den Assistenten Stellen aus Gehaltslisten oder Krankheitsakten abrufen. Das ist das größte Risiko, und es muss beim Abrufen gelöst werden, abhängig davon, wer fragt. Eine Anweisung im Prompt wie "keine vertraulichen Informationen teilen" ist keine Sicherheitsmaßnahme.
  • Erfundene Quellenangaben. Das Modell nennt eine Quelle, die nicht existiert oder etwas anderes sagt. Prüfen Sie automatisch, ob zitierte Abschnitte tatsächlich abgerufen wurden und die Aussage stützen.
  • Kein "Ich weiß es nicht". Wurde kein passender Abschnitt gefunden, sollte das System das sagen, statt zu raten.
  • Wie evaluieren Sie ein RAG-System?

    Eine Demo mit fünf Fragen sagt wenig aus. Messen Sie so:

    Was Sie messenWie

    |---|---|

    TestsetSammeln Sie echte Fragen von Mitarbeitenden, mit der richtigen Antwort und dem Dokument, in dem sie steht. Nehmen Sie schwierige Fragen und Fragen ohne Antwort auf. Retrieval Hit RateWie oft ist der richtige Abschnitt unter den abgerufenen Ergebnissen? Ist dieser Wert niedrig, hilft ein besseres Modell kaum. FaithfulnessStimmt die Antwort mit den abgerufenen Quellen überein, ohne Ergänzungen? Lassen Sie eine Stichprobe von Menschen prüfen, gegebenenfalls ergänzt durch eine automatische Bewertung, die Sie vorher selbst kontrollieren. RechteTesten Sie mit Konten verschiedener Rollen, dass niemand Abschnitte sieht, für die er keinen Zugriff hat. Kosten und LatenzKosten pro Frage und Wartezeit für Nutzer, beim erwarteten Volumen.

    Lassen Sie dieses Set bei jeder Änderung an Chunking, Modell oder Prompt erneut laufen. So sehen Sie, ob eine Anpassung wirklich besser ist.

    HR-Beispiel: ein Richtlinien-Assistent

    Eine Organisation mit einigen Tausend Beschäftigten erhält in der Personalabteilung jede Woche dieselben Fragen: Wie viel Sonderurlaub gibt es bei einem Umzug, wie funktioniert die Homeoffice-Pauschale, was gilt bei Krankheit im Urlaub? Ein RAG-Assistent beantwortet diese Fragen auf Basis des aktuellen Handbuchs und Tarifvertrags, mit Link zur genauen Textstelle.

    Was ihn gut macht: Nur die neueste Version jedes Dokuments ist indexiert, jedes Dokument hat eine verantwortliche Person, Führungskräfte sehen Führungsrichtlinien und Mitarbeitende nicht, und im Zweifel verweist der Assistent an eine HR-Beratung. Personalakten gehören nicht hinein.

    Für Recruiter funktioniert dasselbe Prinzip als Wissensdatenbank: Stellenprofile, Interviewleitfäden und Auswahlkriterien durchsuchbar machen. Wie sich ein solches System in die Personalauswahl einfügt, lesen Sie auf unserer Seite zum AI Hiring System.

    Was Sie Anbietern oder Bewerbenden stellen sollten

    Ob ein Anbieter oder eine Bewerberin RAG wirklich versteht, prüfen Sie mit diesen Fragen:

    1. "Wie wählen Sie die Größe der Abschnitte, und wie testen Sie diese Wahl?" Starke Antwort: hängt von den Dokumenten ab und wird mit der Retrieval Hit Rate auf einem Testset gemessen.

    2. "Warum kombinieren Sie Vektorsuche mit Stichwortsuche?" Starke Antwort: Die Vektorsuche übersieht manchmal exakte Begriffe wie Codes oder Namen.

    3. "Wie stellen Sie sicher, dass Mitarbeitende keine Gehaltsdokumente sehen?" Starke Antwort: Rechtefilterung beim Abrufen, gekoppelt an die Identität der Person, nicht über den Prompt.

    4. "Was passiert, wenn eine Richtlinie geändert wird?" Starke Antwort: automatische Neuindexierung, Entfernen alter Versionen, Datum als Metadatum.

    5. "Woran erkennen Sie, dass das System nach einer Änderung besser ist?" Starke Antwort: ein festes Testset mit Messungen zu Retrieval und Faithfulness, dazu Kosten und Latenz.

    Vage Antworten wie "das Modell ist sehr intelligent" sind ein Grund nachzufragen. Mehr dazu in gute KI-Berater erkennen und KI-Kompetenzen beurteilen.

    KI-Wissen strukturiert prüfen

    Der KI-Kompetenztest von Making Moves prüft unter anderem, ob jemand RAG-Systeme entwerfen und beurteilen kann: Wissensfragen, Entscheidungsszenarien zu Retrieval und Rechten sowie ein Praxisfall mit erlaubter KI-Nutzung. Der Test befindet sich in einer Pilotphase und ist noch kein normierter Test. Nutzen Sie ihn als strukturierten Input neben Gesprächen und Referenzen.

    Häufig gestellte Fragen

    Wofür steht RAG?

    RAG steht für Retrieval-Augmented Generation: Texterzeugung (Generation), ergänzt durch nachgeschlagene Informationen (Retrieval). Das Modell durchsucht zuerst Ihre Dokumente und antwortet dann.

    Verhindert RAG Halluzinationen?

    Es verringert sie, verhindert sie aber nicht vollständig. Wird der falsche Abschnitt abgerufen oder fasst das Modell die Quelle falsch zusammen, entstehen weiterhin Fehler. Deshalb sind Quellenangaben und Evaluation nötig.

    Ist RAG sicher für vertrauliche HR-Dokumente?

    Nur, wenn Rechte beim Abrufen gefiltert werden und Sie wissen, wo die Daten verarbeitet werden. Beachten Sie die DSGVO: Indexieren Sie keine Personalakten ohne klare Rechtsgrundlage und Zugriffsregeln.

    Müssen wir dafür ein eigenes Modell trainieren?

    Nein. RAG funktioniert mit bestehenden Modellen. Investieren Sie vor allem in gute Dokumente, Suchqualität, Rechte und Evaluation.

    Zusammenfassung

  • RAG lässt ein Sprachmodell auf Basis Ihrer eigenen, aktuellen Dokumente antworten, mit Quellenangabe.
  • Die Qualität hängt vor allem von Chunking, Suche und Reranking ab.
  • Für sich änderndes Wissen ist RAG meist besser als Fine-Tuning oder ein einziger langer Prompt.
  • Die größten Risiken: falsche oder veraltete Abschnitte, fehlende Rechtefilter und erfundene Quellen.
  • Evaluieren Sie mit einem Testset echter Fragen, Retrieval Hit Rate, Faithfulness, Kosten und Latenz.
  • Sie möchten prüfen, ob Bewerbende oder Anbieter RAG wirklich beherrschen? Sehen Sie sich den KI-Kompetenztest an oder nehmen Sie Kontakt auf.


    Erstgespräch vereinbaren · Unser AI Hiring System ansehen