Was ist RAG (Retrieval-Augmented Generation)?

Retrieval-Augmented Generation (RAG) ist ein Verfahren, bei dem ein Sprachmodell vor der Antwort passende Textstellen aus einer festgelegten Wissensbasis abruft und seine Antwort auf diese Stellen stützt – statt nur auf das, was es im Training gelernt hat.

So funktioniert RAG

Ein RAG-System arbeitet in zwei Phasen. Bei der Indexierung werden Dokumente ausgelesen, in Abschnitte (Chunks) zerlegt und in Embeddings umgewandelt – Zahlenvektoren, die Bedeutung abbilden. Bei der Beantwortung wird auch die Frage in einen Vektor übersetzt; das System sucht die ähnlichsten Abschnitte, sortiert sie optional mit einem Reranker neu und übergibt die besten Treffer zusammen mit der Frage an das Sprachmodell.

Dokumente auslesen und in Abschnitte zerlegen
Embeddings berechnen und in einem Vektorindex speichern
Zu jeder Frage passende Textstellen finden
Antwort aus diesen Stellen formulieren und Quellen nennen

Warum Unternehmen RAG einsetzen

Sprachmodelle kennen weder Ihre Preislisten noch Verträge oder Projektakten. Ein Modell darauf zu trainieren ist teuer, langsam und schwer kontrollierbar. RAG hält das Wissen außerhalb des Modells: Ein neues Dokument steht bereit, sobald es indexiert ist, und wer eine Datei löscht, entfernt sie aus künftigen Antworten. Weil die Antwort auf konkreten Textstellen beruht, können Mitarbeitende die Quellen prüfen. Das senkt das Risiko von Halluzinationen, beseitigt es aber nicht.

RAG und Berechtigungen

Im Unternehmen zählt nicht nur, *welche* Textstelle passt, sondern auch, *wer* sie sehen darf. Ein RAG-System muss die Suche nach den Rechten der fragenden Person filtern – sonst wird die KI zur Hintertür zu vertraulichen Dokumenten wie Gehaltslisten oder Vorstandsunterlagen. Berechtigungen gehören deshalb in den Suchschritt selbst und nicht nur in die Oberfläche.

RAG oder Fine-Tuning?

Beim Fine-Tuning wird ein Modell mit eigenen Beispielen nachtrainiert. Das eignet sich, um Stil, Format oder Fachsprache zu prägen, aber kaum, um aktuelles Faktenwissen zuverlässig abrufbar zu machen: Nachtrainiertes Wissen lässt sich weder gezielt löschen noch mit Quellen belegen, und jede Änderung erfordert ein neues Training. Für Unternehmenswissen, das sich laufend ändert und Berechtigungen unterliegt, ist RAG deshalb meist die bessere Wahl. Beide Verfahren lassen sich kombinieren.

Grenzen von RAG

Schlechte Quellen ergeben schlechte Antworten: Veraltete oder widersprüchliche Dokumente werden ebenfalls gefunden.
Exakte Zahlen aus Tabellen werden besser berechnet als als Textschnipsel abgerufen.
Fragen nach Zusammenhängen über viele Dokumente profitieren von einem zusätzlichen KI-Wissensgraphen.
RAG ersetzt keine Dokumentenpflege: Zuständigkeiten für Aktualität und Löschung bleiben nötig.

RAG in AIPE

AIPE liest hochgeladene und über Konnektoren angebundene Dokumente aus, zerlegt sie in Abschnitte und indexiert sie semantisch. Die Suche berücksichtigt nur Dokumente, die die fragende Person lesen darf, und Antworten verweisen auf die genutzten Quelldokumente. Fragen zu Tabellen beantwortet AIPE mit einem eigenen Analysewerkzeug, das Werte direkt aus der Datei berechnet. Mehr dazu im Ratgeber KI-Wissensdatenbank.

Was ist RAG?