RAG-Chatbot auf Unternehmensdokumenten einführen

Die meisten Chatbots im Unternehmen scheitern an einem einzigen Satz: „Das hat mir die KI so gesagt — und es stimmte nicht.“ Ein Sprachmodell, das aus seinem allgemeinen Training antwortet, klingt überzeugend, auch wenn es daneben liegt. Ein RAG-Chatbot dreht diese Logik um: Er schlägt zuerst in Ihren eigenen Dokumenten nach und formuliert die Antwort erst dann. Dieser Beitrag zeigt, wie Sie einen solchen Assistenten einführen, wo er sich wirklich lohnt und mit welchen Stellschrauben Sie Halluzinationen spürbar reduzieren.

Was ist ein RAG-Chatbot auf Unternehmensdokumenten?

Ein RAG-Chatbot ist ein KI-Assistent, der Antworten nicht aus dem allgemeinen Modellwissen erfindet, sondern aus Ihren eigenen Dokumenten abruft und auf dieser Grundlage formuliert. RAG steht für „Retrieval-Augmented Generation“: Das System sucht bei jeder Frage zuerst die passenden Stellen in Ihrer Wissensbasis — Handbücher, Verfahrensanweisungen, Preislisten, Richtlinien — und übergibt nur diese Ausschnitte an das Sprachmodell, das daraus die Antwort baut. Der entscheidende Unterschied zu einem generischen Chatbot: Die Antwort ist an belegbare Quellen gebunden und lässt sich auf das Ursprungsdokument zurückführen.

Damit löst RAG zwei Probleme auf einmal. Erstens kennt ein öffentliches Sprachmodell Ihre internen Verfahren gar nicht — es kann sie also nur raten. Zweitens neigt jedes Modell dazu, eine Lücke mit einer plausibel klingenden Erfindung zu füllen, statt „Ich weiß es nicht“ zu sagen. Ein gut gebauter RAG-Chatbot kann genau das: Er antwortet aus den hinterlegten Unterlagen und sagt im Zweifel „Dazu finde ich in den vorliegenden Dokumenten nichts.“ Im B2B-Kontext ist diese Quellenbindung der Unterschied zwischen einem nützlichen Werkzeug und einem Haftungsrisiko.

Ein RAG-Chatbot ersetzt dabei kein Sprachmodell, sondern umgibt es mit einem Geländer. Das Modell bleibt der Sprachgenerator — aber worüber es spricht, bestimmen Ihre Daten, nicht sein Training.

Wie funktioniert RAG technisch — in vier Schritten?

Hinter dem Begriff steckt kein Hexenwerk, sondern eine nachvollziehbare Kette. Wer sie versteht, weiß auch, an welchen Stellen die Qualität entsteht und wo sie kippt.

1. Dokumente sammeln und aufbereiten. Alles, was der Assistent kennen soll, wird zusammengetragen: Handbücher, FAQ, Verfahren, Produktdaten. Veraltetes und Widersprüchliches wird vorher aussortiert — was hineingeht, prägt jede spätere Antwort.
2. Zerlegen und einbetten. Die Texte werden in handliche Abschnitte (Chunks) zerlegt und als Embeddings — numerische Repräsentationen ihrer Bedeutung — in einer Vektordatenbank abgelegt. So wird Text durchsuchbar nach Sinn, nicht nur nach Stichwort.
3. Abrufen (Retrieval). Bei einer Frage sucht das System die inhaltlich ähnlichsten Abschnitte heraus und reicht sie als Kontext an das Modell weiter. Dieser Schritt entscheidet maßgeblich über die Güte der Antwort: Findet das System die falschen Stellen, baut das Modell eine falsche Antwort.
4. Antworten (Generation). Das Sprachmodell formuliert die Antwort ausschließlich auf Basis der gefundenen Abschnitte — idealerweise mit Quellenangabe, damit der Nutzer nachprüfen kann, woher die Aussage stammt.

Der Knackpunkt liegt in Schritt drei. Ein verbreiteter Irrtum ist, RAG schalte Halluzinationen automatisch ab. Das stimmt nicht: Liefert der Abruf unvollständige, mehrdeutige oder thematisch verfehlte Ausschnitte, kann das Modell auch mit Quellen daneben liegen — es entstehen dann „Halluzinationen mit Fußnote“. Die Qualität eines RAG-Chatbots steht und fällt deshalb mit der Qualität des Abrufs, nicht allein mit dem Modell.

Wo lohnt sich ein RAG-Chatbot — und wo nicht?

Der größte Nutzen entsteht dort, wo Wissen in Dokumenten steckt, häufig nachgefragt wird und das Heraussuchen heute Menschen Zeit kostet. Zwei Einsatzfelder stechen im Mittelstand hervor: der interne Helpdesk und die Kundenkommunikation. Beide unterscheiden sich vor allem im Risiko — und genau das bestimmt die Reihenfolge der Einführung.

Interner Helpdesk: der ideale Einstieg

Ein Assistent für die eigene Belegschaft ist der nachsichtigste denkbare Anwendungsfall. Die Mitarbeitenden fragen nach Urlaubsregeln, IT-Anleitungen, Freigabeprozessen oder dem korrekten Vorgehen bei einer Reklamation — und der Assistent zieht die Antwort aus dem Intranet, dem Qualitätshandbuch oder den Arbeitsanweisungen. Das Risiko ist begrenzt, weil ein Fehler im Haus bleibt und vom Fragenden meist sofort erkannt wird. Zugleich ist der Nutzen täglich spürbar: weniger Rückfragen an Kolleginnen und Kollegen, weniger Suchen in verstreuten Ordnern, schnellere Einarbeitung neuer Leute.

Hinzu kommt ein unterschätzter Vorteil: Der interne Betrieb ist die beste Trainingsstrecke. Jede falsche Antwort, die ein Mitarbeiter meldet, deckt eine Lücke in der Wissensbasis oder eine Schwäche im Abruf auf — und macht das System besser, bevor je ein Kunde damit spricht.

Kundenkommunikation: höherer Nutzen, höheres Risiko

Im Kundenkontakt steigt der Hebel — und die Fallhöhe. Ein Assistent, der auf der Website Produktfragen beantwortet, Bestellstatus erklärt oder durch die Dokumentation führt, entlastet den Support spürbar und ist rund um die Uhr verfügbar. Aber jede falsche Auskunft trifft hier einen Außenstehenden, und eine erfundene Zusage kann teuer werden. Deshalb gilt: erst intern stabilisieren, dann nach außen gehen — mit engeren Leitplanken und einer klaren Eskalation an einen Menschen, sobald die Frage die hinterlegten Quellen verlässt.

Wo RAG der falsche Weg ist

Nicht jede Aufgabe ist ein RAG-Fall. Geht es um Berechnungen, Buchungen oder Aktionen in anderen Systemen, braucht es Werkzeuge und Automatisierung — etwa über einen Workflow — statt eines Nachschlage-Assistenten. Und überall dort, wo automatisiert über Menschen entschieden wird (Bewerberauswahl, Bonität), gehört kein loser Chatbot hin: Solche Fälle fallen schnell in höhere Risikoklassen des EU AI Act und verlangen weit mehr Sorgfalt, als ein Auskunfts-Bot leistet.

Wie reduziert man Halluzinationen — die zentralen Stellschrauben

Halluzinationen lassen sich nicht restlos abschalten, aber wirksam eindämmen. Der Hebel liegt vor allem darin, die Quellen zu verengen und jede Antwort überprüfbar zu machen. Die folgenden Maßnahmen wirken zusammen — keine einzelne genügt für sich.

• Quellen bewusst eingrenzen. Je sauberer und enger die Wissensbasis, desto präziser der Abruf. Veraltete, doppelte oder widersprüchliche Dokumente sind die häufigste Halluzinationsquelle — sie gehören aussortiert, nicht zusätzlich eingespeist. Lieber zehn gepflegte Dokumente als hundert ungeprüfte.
• Sinnvoll zerlegen. Zu große Abschnitte verwässern den Kontext, zu kleine reißen Zusammenhänge auseinander. Eine durchdachte Chunk-Größe samt thematischer Überschneidung verbessert den Abruf oft mehr als ein teureres Modell.
• Antworten an Quellen binden. Der Assistent soll jede Aussage mit einem Verweis auf das Quelldokument belegen. Das diszipliniert das Modell und gibt dem Nutzer die Möglichkeit, im Zweifel selbst nachzuschlagen.
• „Ich weiß es nicht“ erlauben. Die System-Anweisung muss dem Modell ausdrücklich gestatten — besser: vorschreiben —, eine Antwort zu verweigern, wenn die abgerufenen Stellen sie nicht hergeben. Ein ehrliches „dazu liegt nichts vor“ ist mehr wert als eine erfundene Auskunft.
• Den Menschen einbinden (Human-in-the-Loop). Vor allem in der Kundenkommunikation sollte der Assistent bei Unsicherheit an einen Mitarbeiter übergeben, statt zu raten. Diese Eskalation ist keine Schwäche, sondern ein Qualitätsmerkmal.
• Stichproben und Rückmeldungen. Prüfen Sie regelmäßig Antworten und richten Sie einen einfachen Kanal für „Das war falsch“ ein. Steigt die Korrekturquote, stimmt etwas im Abruf oder in der Wissensbasis nicht — ein Frühwarnsignal, das man messen sollte.

Wer diese Stellschrauben ernst nimmt, verschiebt das System von „klingt plausibel“ zu „ist belegbar“. Genau diese Belegbarkeit ist es, die einen Assistenten im professionellen Einsatz tragfähig macht.

Warum ist die Quelleneingrenzung der wirksamste Hebel?

Weil das Modell nur über das sprechen kann, was es vorgelegt bekommt. Verengen Sie die Quellen auf geprüfte, aktuelle und eindeutige Dokumente, schrumpft der Raum für Erfindungen. Eine überladene Wissensbasis dagegen führt dazu, dass der Abruf mehrdeutige oder veraltete Stellen mischt — und das Modell baut daraus eine Antwort, die in keinem einzelnen Dokument so steht. Die Eingrenzung der Quellen ist deshalb kein technisches Detail, sondern die erste und billigste Maßnahme gegen Halluzinationen.

Wie führt man einen RAG-Chatbot im Unternehmen ein?

Die Einführung folgt einer überschaubaren Reihenfolge, die das Risiko klein hält und Lernen ermöglicht. Sie spiegelt das Prinzip wider, das sich bei jeder KI-Einführung im Mittelstand bewährt: erst messen, dann klein anfangen, dann skalieren.

1. Anwendungsfall scharf stellen. Nicht „Chatbot fürs Unternehmen“, sondern „Assistent, der Mitarbeitenden Fragen zum Qualitätshandbuch beantwortet“. Ein eng umrissener Fall ist messbar und schnell lieferbar.
2. Wissensbasis kuratieren. Sammeln, entrümpeln, aktualisieren. Dieser Schritt ist unbequem und entscheidend — er legt fest, wie gut der Assistent später überhaupt werden kann.
3. Klein bauen und intern testen. Mit dem internen Helpdesk starten, mit einem begrenzten Dokumentensatz und echten Fragen der Belegschaft. Fehler hier sind Lernmaterial, kein Schaden.
4. Messen und nachschärfen. Trefferquote, Korrekturquote, verweigerte Antworten beobachten. Wo der Abruf danebengreift, an Chunks, Quellen oder Anweisung nachbessern.
5. Erst dann erweitern. Wenn der Assistent intern stabil läuft, ist der Schritt nach außen vertretbar — mit engeren Leitplanken und den rechtlichen Pflichten im Blick.

Brauche ich dafür eigene Programmierer?

Für den Einstieg meist nicht. Viele RAG-Lösungen lassen sich mit überschaubarem technischem Aufwand aufsetzen, und Bausteine wie Vektordatenbank, Embedding-Modell und Sprachmodell sind heute als Dienste verfügbar. Wichtiger als tiefe Programmierkenntnis ist jemand, der die Inhalte versteht und die Wissensbasis sauber pflegt. Bei sensiblen Daten, kundenseitigem Einsatz oder selbst gehosteten Umgebungen ist technische Begleitung allerdings sinnvoll — gerade wegen Datenschutz und Betrieb.

Was verlangen EU AI Act und DSGVO?

Sobald ein Kunde mit Ihrem Assistenten spricht, greift eine konkrete Pflicht. Artikel 50 der KI-Verordnung (EU AI Act) verlangt, dass Menschen klar und unterscheidbar informiert werden, wenn sie mit einer KI interagieren — und zwar spätestens zu Beginn der Interaktion. Diese Transparenzpflicht gilt ab dem 2. August 2026 und ist von den jüngsten Aufschüben des sogenannten Digital Omnibus ausdrücklich nicht betroffen. Praktisch heißt das: Der Hinweis „Sie sprechen mit einem KI-Assistenten“ am Anfang jedes Chats ist Pflicht, nicht Kür.

Die Größenordnung der Sanktionen macht deutlich, warum das ernst zu nehmen ist. Für Verstöße gegen die Transparenzpflichten sieht Artikel 99 Absatz 4 der Verordnung Bußgelder von bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes vor — je nachdem, welcher Betrag höher ist. Diese Pflicht trifft den Betreiber eines kundenseitigen Chatbots unabhängig davon, ob das System als Hochrisiko-Anwendung eingestuft ist.

Daneben gilt die DSGVO unverändert weiter. Sobald personenbezogene Daten verarbeitet werden — etwa wenn ein Kunde seinen Namen oder seine Bestellnummer nennt —, brauchen Sie eine Rechtsgrundlage, müssen informieren und die Datenflüsse dokumentieren. Wer Cloud-Modelle nutzt, sollte Auftragsverarbeitungsverträge und Serverstandort prüfen; eine selbst gehostete Umgebung hält die Daten auf dem eigenen Server und vereinfacht die Lage. Dieser Beitrag ersetzt keine Rechtsberatung — für die Einstufung Ihres konkreten Falls ist fachkundiger Rat angezeigt.

Womit fängt man an?

Mit dem kleinsten ehrlichen Schritt: einer Liste der Fragen, die im eigenen Haus am häufigsten gestellt werden, und der Dokumente, in denen die Antworten stehen. Genau das ist der Rohstoff für die Wissensbasis — und zugleich der Test, ob ein RAG-Chatbot überhaupt der richtige Weg ist. Steckt die Antwort in Dokumenten, ist RAG stark. Steckt sie in einer Berechnung oder einer Aktion, brauchen Sie etwas anderes.

Der Mittelstand muss bei diesem Thema nicht den Konzernen hinterherlaufen. Sein Vorteil ist die Nähe zu den eigenen Verfahren und der kurze Weg von der Frage zur Lösung. Genutzt wird dieser Vorteil aber nur, wenn die Reihenfolge stimmt: Quellen kuratieren, intern starten, Halluzinationen durch enge Quellen und Überprüfbarkeit eindämmen — und an jeder kritischen Stelle ein Mensch. So wird aus einem Sprachmodell ein Assistent, dem man trauen kann.

Hinweis: Dieser Beitrag bietet einen praxisnahen Überblick und ersetzt keine Rechtsberatung. Angaben zum EU AI Act stützen sich auf den Verordnungstext (Verordnung (EU) 2024/1689) und die Leitlinien der Europäischen Kommission (Stand 2026); für die Einstufung eines konkreten Anwendungsfalls ziehen Sie bitte fachkundigen Rat hinzu.

Bildungsmaterial, keine Rechtsberatung. Stand 2026 — die Auslegung der EU-KI-Verordnung kann sich ändern.