Was ein RAG Chatbot anders macht

Ein RAG Chatbot ist ein KI-Chatbot, der Fragen nur aus festgelegten Inhalten beantwortet, etwa der Website, den PDFs und den Datenblättern eines Unternehmens, und zu jeder Antwort die Quelle verlinkt. Ein Sprachmodell wie ChatGPT antwortet aus seinem Trainingswissen.

Auf einer Unternehmenswebsite zeigt sich der Unterschied schnell: Besucher fragen nach Preisen, Fristen und Produkten genau dieses Unternehmens. Das Modell kennt nur, was in der Branche üblich ist. Fragt jemand nach dem Preis eines bestimmten Tarifs, nennt es eine Zahl, die plausibel klingt und frei erfunden sein kann. Ein RAG Chatbot schlägt stattdessen in den Inhalten des Unternehmens nach und zeigt die Stelle, aus der die Antwort stammt.

Auf einen Blick

RAG steht für Retrieval Augmented Generation. Das System sucht zu jeder Frage passende Abschnitte in den hinterlegten Inhalten und gibt nur diese an das Sprachmodell weiter.
Ein Sprachmodell ohne eigene Datengrundlage antwortet aus Trainingswissen. Die Antworten klingen plausibel, lassen sich aber nicht prüfen.
Über die Qualität entscheidet vor allem die Suche: wie die Inhalte zerlegt sind und wie zuverlässig das System den passenden Abschnitt findet.
Findet ein RAG Chatbot keine Grundlage, sollte er an einen Menschen übergeben.
Für die DSGVO zählen zwei Orte: die Datenbank mit Inhalten und Chatverläufen und das Sprachmodell. Nach dem AI Act muss sich ein Chatbot außerdem als KI zu erkennen geben.

Was passiert, wenn Unternehmen ChatGPT direkt auf ihrer Website laufen lassen

Ein Sprachmodell ohne eigene Datengrundlage antwortet aus dem, was es im Training gelernt hat. Die Website des Unternehmens gehört meist nicht dazu, oder nur in einer veralteten Fassung.

Ein Interessent fragt im Chat nach der Kündigungsfrist. Das Modell nennt eine Frist, die in der Branche üblich ist. Stehen in den AGB andere Fristen, hat der Chat falsch geantwortet, und im Unternehmen bemerkt es niemand. Fragt jemand nach einem Produkt, das es dort nicht gibt, beschreibt das Modell es trotzdem.

Dieses Verhalten heißt Halluzination: Das Modell erzeugt eine plausible Antwort, auch wenn ihm die Fakten fehlen. Eine Quelle, an der sich die Antwort prüfen ließe, liefert es nicht mit.

Vergleichstabelle: klassischer Chatbot, ChatGPT ohne eigene Daten und RAG Chatbot nach Antwortquelle, Prüfbarkeit, freien Fragen und Verhalten ohne Wissensbasis.

Wie RAG funktioniert: einlesen, ordnen, speichern, suchen, antworten

Bei RAG liefern die Inhalte des Unternehmens das Wissen, das Sprachmodell formuliert daraus die Antwort. Vor jeder Antwort sucht das System die passenden Abschnitte heraus und legt sie dem Modell vor.

Einlesen. Das System holt Inhalte aus den angebundenen Quellen, über Schnittstellen des CMS oder per Crawling, dazu PDFs, FAQs und Datenblätter. Ein regelmäßiger Abgleich übernimmt Änderungen.
Ordnen. Lange Texte zerlegt das System in kürzere Abschnitte (Chunking). Ein Embedding-Modell berechnet für jeden Abschnitt eine Zahlenfolge, die seine Bedeutung abbildet.
Speichern. Die Embeddings landen in einer Vektordatenbank. Verbreitet sind spezialisierte Systeme wie Qdrant oder Weaviate und Erweiterungen bestehender Datenbanken wie pgvector für Postgres.
Suchen. Auch für jede Frage berechnet das System ein Embedding. Dann sucht es die Abschnitte, die inhaltlich am nächsten liegen.
Antworten. Das Sprachmodell formuliert aus diesen Abschnitten die Antwort und verlinkt die Quelle.

Schritt zwei erklärt, warum ein KI-Chatbot auf RAG-Basis mehr findet als eine Volltextsuche. Ein Besucher fragt: „Was kostet es, wenn ich vorzeitig kündige?“ Auf der Website steht: „Gebühren bei Vertragsauflösung vor Laufzeitende“. Beide Sätze teilen kein Wort, die Volltextsuche findet nichts. Ihre Embeddings liegen dicht beieinander, also findet der KI-Chatbot die Stelle.

Was passiert, wenn die Antwort fehlt

Findet ein gut eingestellter KI-Chatbot in den hinterlegten Inhalten keine Grundlage, sagt er das und gibt die Frage an einen Menschen weiter. Die Lücke füllt er nicht mit Trainingswissen.

Das passiert nicht von selbst. Zwei Einstellungen steuern es: ein Schwellenwert, ab dem ein gefundener Abschnitt als passend gilt, und eine Anweisung im Systemprompt, ohne Grundlage nicht zu antworten. Ob beides greift, zeigt erst ein Test mit echten Fragen, darunter solche, auf die die Inhalte keine Antwort haben.

Ganz ausschließen lassen sich Fehler auch mit RAG nicht. Das Modell kann einen gefundenen Abschnitt falsch zusammenfassen. Die verlinkte Quelle macht solche Fehler aber für Besucher und Fachabteilung prüfbar.

Die unbeantworteten Fragen zeigen, wonach Besucher suchen und auf der Website nichts finden. Klassische Webanalyse erfasst sie nicht, denn sie misst Seitenaufrufe. Ein Chatbot-Dashboard sollte mindestens diese Werte ausweisen:

Tabelle mit vier Kennzahlen für einen RAG Chatbot: beantwortete Anfragen, Übergabequote, Themen-Cluster und Content-Lücken.

Wo die Daten liegen: Speicherung und Sprachmodell

Bei einem RAG Chatbot entstehen Daten an zwei Stellen. Inhalte, Embeddings und Chatverläufe liegen in einer Datenbank. Das Sprachmodell verarbeitet bei jeder Antwort die Frage und die gefundenen Abschnitte. Wer den Chatbot datenschutzrechtlich prüft, muss beide Stellen getrennt bewerten.

Speicherung

Die Datenbank lässt sich vollständig in Europa betreiben, die großen Cloud- und Datenbankanbieter haben Rechenzentren in Frankfurt und an weiteren EU-Standorten. Vor der Entscheidung stehen vor allem diese Fragen:

In welcher Region stehen Datenbank und Backups?
Sind die Daten je Kunde getrennt? Bei Plattformen für viele Unternehmen sollte jede Abfrage technisch an einen Mandanten gebunden sein, etwa über eigene Partitionen. Ein Filter in der Anwendung allein schützt schwächer.
Wie lange werden Chatverläufe gespeichert? Für Auswertung und Qualitätssicherung reichen meist wenige Tage.

Sprachmodell

Wo das Modell rechnet, hängt vom Anbieter und von der Konfiguration ab. Bei US-Anbietern landen Anfragen ohne weitere Einstellung oft in den USA. Mehrere Anbieter verarbeiten Anfragen inzwischen auch in Europa, daneben gibt es EU-Regionen großer Cloud-Plattformen und europäische Modellanbieter. Der Vertrag sollte außerdem regeln, ob der Anbieter die übermittelten Daten speichert oder zum Training seiner Modelle nutzt.

Für einen Website-Chatbot ist die Datenlage überschaubar, weil er öffentliche Inhalte verarbeitet. Was Besucher ins Chatfenster tippen, kann trotzdem personenbezogen sein, etwa ein Name oder eine Vertragsnummer. Das gehört in die Datenschutzerklärung und in einen Auftragsverarbeitungsvertrag mit dem Modellanbieter.

Was der AI Act für Website-Chatbots verlangt

Die europäische KI-Verordnung, der AI Act, enthält in Artikel 50 Transparenzpflichten für KI-Systeme, die direkt mit Menschen interagieren. Ein Chatbot muss spätestens bei der ersten Interaktion klar erkennbar machen, dass er eine KI ist.

Für einen Website-Chatbot reicht in der Regel ein deutlicher Hinweis im Chatfenster oder in der ersten Nachricht. Eine Erwähnung in AGB oder Datenschutzerklärung erfüllt die Pflicht nicht, weil sie bei der Interaktion nicht sichtbar ist. Eine Ausnahme für kleine Unternehmen gibt es nicht.

Dieser Beitrag ist keine Rechtsberatung. Die Bewertung im Einzelfall trifft die oder der Datenschutzbeauftragte des Unternehmens.

Wo RAG an Grenzen stößt

RAG eignet sich für Wissen, das in Texten steht. Für andere Fragen braucht ein Chatbot andere Werkzeuge.

Tagesaktuelle Daten. Lagerbestand, Lieferstatus oder freie Termine stehen in keinem Text. Hier muss der Chatbot über eine Schnittstelle direkt auf das Fachsystem zugreifen.
Berechnungen. Ein individueller Preis oder eine Finanzierungsrate gehört in ein Rechenwerk. Sprachmodelle rechnen unzuverlässig.
Schwer lesbare Quellen. Gescannte PDFs oder verschachtelte Tabellen liefern nur gute Antworten, wenn sie vorher sauber aufbereitet werden.
Wenig Inhalt, wenig Fragen. Eine kleine Website mit wenigen Anfragen braucht oft keinen Chatbot. Eine gepflegte FAQ-Seite leistet dort dasselbe.

Woran sich ein guter RAG Chatbot erkennen lässt

Beim Vergleich von Lösungen helfen diese Fragen:

Checkliste mit 8 Fragen, an denen sich ein guter RAG Chatbot erkennen lässt, von der Quellenangabe bis zum Austausch des Sprachmodells.

Häufige Fragen

Was ist ein RAG Chatbot?

Ein Chatbot, der vor jeder Antwort passende Abschnitte aus festgelegten Inhalten heraussucht und das Sprachmodell nur daraus antworten lässt. RAG steht für Retrieval Augmented Generation. Zu jeder Antwort verlinkt er die Quelle.

Was bedeutet RAG genau im Zusammenhang mit KI?

RAG steht für Retrieval Augmented Generation. Ein Sprachmodell bekommt vor jeder Antwort passende Textabschnitte aus einer Wissensbasis vorgelegt und formuliert die Antwort auf dieser Grundlage. So arbeitet es mit aktuellem und unternehmensspezifischem Wissen, das im Training fehlte.

Welche Inhalte kann ein RAG Chatbot nutzen?

Alles, was als Text vorliegt oder sich in Text umwandeln lässt: Seiten der Website, PDFs, FAQs, Datenblätter oder Handbücher. Die Inhalte kommen über Schnittstellen des CMS oder per Crawling ins System. Ein regelmäßiger Abgleich sorgt dafür, dass geänderte Seiten in die Antworten einfließen.

Was unterscheidet RAG von Fine-Tuning?

Beim Fine-Tuning lernt das Modell aus eigenen Daten nach, das Wissen steckt danach in den Modellgewichten. Jede inhaltliche Änderung erfordert ein neues Training, und eine Quelle lässt sich nicht nennen. Bei RAG bleibt das Wissen in einer Datenbank. Eine geänderte Seite ist nach dem nächsten Abgleich verfügbar.

Kann ein RAG Chatbot halluzinieren?

Das Risiko ist kleiner als bei einem Modell ohne Datengrundlage, ausgeschlossen ist es nicht. Ein Schwellenwert für passende Abschnitte und eine klare Anweisung im Systemprompt sorgen dafür, dass er ohne Grundlage an einen Menschen übergibt. Die verlinkte Quelle macht Fehler prüfbar.

Ist ein KI-Chatbot DSGVO-konform?

Das hängt von zwei Orten ab: wo Inhalte und Chatverläufe gespeichert werden und wo das Sprachmodell rechnet. Beides lässt sich in der EU betreiben. Läuft das Modell bei einem externen Anbieter, sind ein Auftragsverarbeitungsvertrag und ein Hinweis in der Datenschutzerklärung nötig.

Muss ein Chatbot auf der Website als KI gekennzeichnet sein?

Ja. Der AI Act verlangt, dass ein Chatbot spätestens bei der ersten Interaktion als KI erkennbar ist. Ein Hinweis im Chatfenster oder in der Begrüßung genügt in der Regel. Ein Vermerk nur in AGB oder Datenschutzerklärung erfüllt die Pflicht nicht, weil Besucher ihn beim Chatten kaum sehen.

Wie 360VIER RAG Chatbots aufbaut: freie Modellwahl, kein CMS-Wechsel

Wir haben einen eigenen KI-Chatbot nach diesen Grundsätzen gebaut. Inhalte und Vektordatenbank liegen auf europäischer Infrastruktur, je Kunde in eigenen Datenbank-Partitionen getrennt und auf Wunsch in einer dedizierten Umgebung.

Das Sprachmodell legen wir je Kunde fest und können es austauschen, auch gegen ein in der EU betriebenes Modell. Die aufbereiteten Inhalte bleiben dabei bestehen und lassen sich für weitere Anwendungen nutzen, etwa eine interne Suche oder einen Assistenten für den Vertrieb.

Der KI-Chatbot läuft auf WordPress, TYPO3, Headless-CMS und weiteren CMS. Ein CMS-Wechsel entfällt damit. Der Chatbot liest Inhalte über die WordPress-REST-API, andere Schnittstellen oder per Crawling und gleicht sie täglich ab. Die Redaktion pflegt weiter im gewohnten System.

RAG Chatbot für die Webseite: So antwortet ein KI-Chatbot aus Unternehmensinhalten