Was sind Embeddings und Vektordatenbanken?

Was ein Embedding ist

Ein Embedding-Modell wandelt einen Textabschnitt in eine Liste von Zahlen um – oft einige Hundert bis wenige Tausend Werte. Ein einzelner Wert hat für sich keine Bedeutung; entscheidend ist die Lage des Vektors in diesem hochdimensionalen Raum. Texte mit ähnlicher Bedeutung landen nah beieinander, auch wenn sie andere Wörter verwenden. „Urlaubsantrag“ und „Freistellung beantragen“ werden deshalb gemeinsam gefunden, obwohl sie kein Wort teilen.

So funktioniert semantische Suche

1. Zerlegen: Dokumente werden in Abschnitte (Chunks) geteilt, etwa Absätze oder Seiten.
2. Einbetten: Jeder Abschnitt wird mit einem Embedding-Modell in einen Vektor umgewandelt.
3. Speichern: Die Vektoren werden zusammen mit Metadaten wie Quelle, Datum und Berechtigungen in einem Vektorindex abgelegt.
4. Suchen: Auch eine Frage wird in einen Vektor übersetzt; die Datenbank liefert die Abschnitte mit dem geringsten Abstand.
5. Nutzen: Die Treffer gehen an ein Sprachmodell, das die Antwort formuliert – das Prinzip hinter RAG.

Vektordatenbank oder Vektorindex?

Der Begriff Vektordatenbank wird weit gefasst. Gemeint sein kann ein spezialisiertes eigenständiges System, aber auch ein Vektorindex innerhalb einer bestehenden Datenbank. Wichtiger als die Produktkategorie sind in der Praxis einige Eigenschaften: schnelle Nächste-Nachbarn-Suche, Filterung nach Metadaten und Berechtigungen sowie die Möglichkeit, Einträge zuverlässig zu aktualisieren oder zu löschen.

Warum das für Unternehmen wichtig ist

Klassische Stichwortsuche scheitert, wenn Mitarbeitende anders formulieren als das Dokument. Semantische Suche findet Inhalte nach Bedeutung und je nach Modell auch über Sprachgrenzen hinweg. Gleichzeitig reicht Vektorsuche allein nicht immer: Exakte Begriffe wie Artikelnummern oder Namen findet eine Stichwortsuche oft besser, weshalb viele Systeme beide Verfahren kombinieren.

Grenzen und Prüfpunkte

• Zerlegung: Zu große Abschnitte verwässern die Bedeutung, zu kleine verlieren den Zusammenhang.
• Modellkonsistenz: Frage und Dokumente müssen mit demselben Modell eingebettet werden; ein Modellwechsel erfordert eine Neuindexierung.
• Berechtigungen: Die Suche muss nach den Rechten der fragenden Person filtern, sonst erscheinen vertrauliche Inhalte in Antworten.
• Löschung: Wird ein Dokument entfernt, müssen auch seine Vektoren verschwinden.
• Datenschutz: Embeddings sind aus dem Originaltext abgeleitet und sollten mit derselben Sorgfalt behandelt werden – siehe DSGVO-konforme KI.

Embeddings in AIPE

In AIPE werden Dokumente ausgelesen, in Abschnitte zerlegt und als Vektoren mit 1536 Dimensionen eingebettet. Die Vektorsuche wird nach den Berechtigungen der Nutzerin oder des Nutzers gefiltert (rollenbasierte Zugriffskontrolle), sodass nur Dokumente berücksichtigt werden, die die Person lesen darf. Antworten verweisen auf die Quelldokumente. Zusätzlich verknüpft eine Ontologie Kunden, Projekte, Produkte und Prozesse zu einem KI-Wissensgraphen. Mehr dazu im Ratgeber KI-Wissensdatenbank und auf der Seite Wissen.