RAG & DSGVO: Wissens-Assistenten mit Datenhoheit

RAG („Retrieval Augmented Generation“) verbindet KI mit Ihrer eigenen Wissensbasis: Statt frei zu halluzinieren, sucht das System passende Dokumentstellen und beantwortet Fragen auf dieser Grundlage – ideal für Support, interne Prozesse oder Kundenportale. Entscheidend ist dabei nicht nur die Technik, sondern die Kontrolle: Zugriff, Quellen, Logging und ein sauberes Datenschutzkonzept.

Zur Ãœbersicht: Weitere kompakte Praxisartikel finden Sie im Bereich KI-Wissen.

Dieser Beitrag erklärt RAG pragmatisch – und zeigt, wie Sie KI-Assistenten so aufsetzen, dass Datenhoheit und DSGVO-Anforderungen ernst genommen werden. Gerade für KMU ist entscheidend, dass ein Assistent nicht nur „antwortet“, sondern nachvollziehbar mit Quellen, Rollen und klaren Betriebsregeln arbeitet. Genau dort trennt sich ein überzeugender Demo-Eindruck von einer Lösung, die im Alltag belastbar funktioniert. Wie wir einen solchen RAG-Assistenten technisch aufgebaut und im Projekt praktisch umgesetzt haben, zeigen wir in unserem Praxisbericht zum RAG-Assistenten mit FastAPI und Qdrant. Und wie sich die Antwortqualität danach weiter verbessern lässt – etwa über System-Prompt, Retrieval-Tuning und Quellenlogik – beschreiben wir im Folgebeitrag KI-Assistent trainieren: RAG-Antwortqualität gezielt verbessern.

RAG kurz erklärt

RAG ergänzt das Sprachmodell um eine Suchschicht: Fragen werden in Suchanfragen übersetzt, passende Textstellen aus Ihren Dokumenten werden geholt, und die Antwort wird aus diesem Kontext erzeugt.

Datenfluss & Datenhoheit

Bei einem RAG-Assistenten ist nicht nur wichtig, dass Antworten aus eigenen Dokumenten entstehen – sondern wie diese Informationen durch das System fließen. Genau hier entscheidet sich, ob ein Assistent nur technisch interessant ist oder auch datenschutzsauber und betrieblich tragfähig bleibt. Denn zwischen Dokumentenquelle, Vektorindex, Retrieval, Prompt und Antworterzeugung liegen mehrere Stationen, an denen Daten verarbeitet, zwischengespeichert oder an weitere Komponenten übergeben werden können.

• Wissensbasis: PDFs, Handbücher, FAQs, interne Richtlinien
• Vektorindex: Suche über semantische Ähnlichkeit
• LLM: formuliert Antwort – idealerweise mit Quellenangabe

Wichtig ist deshalb eine klare Architekturentscheidung: Welche Komponenten laufen on-prem oder in der EU? Welche Daten dürfen das System überhaupt verlassen – und welche nicht? Gerade bei sensiblen Unternehmensinformationen, personenbezogenen Daten oder internen Prozessdokumenten sollte früh festgelegt werden, ob ein externer Modellanbieter beteiligt ist, welche Textausschnitte an ihn übertragen werden und ob sich diese Übermittlung technisch und organisatorisch sauber absichern lässt.

Zur Datenhoheit gehört außerdem mehr als der Serverstandort. Entscheidend ist auch, welche Dokumente überhaupt in den Assistenten aufgenommen werden, wie Inhalte vorab geprüft oder bereinigt werden und ob produktive, vertrauliche und testweise Daten sauber getrennt bleiben. In der Praxis bedeutet das oft: Datenminimierung vor der Ingestion, klare Freigaben für Dokumentquellen, definierte Lösch- und Update-Regeln sowie ein nachvollziehbares Konzept für Logging und Protokollierung. So wird aus einem RAG-System kein unkontrollierter Daten-Sammelpunkt, sondern ein Assistent mit klaren Grenzen und transparenter Verantwortung.

Zugriff & Rollen (wer darf was?)

Ein RAG-Assistent ist nur dann DSGVO-tauglich und im Unternehmensalltag wirklich nutzbar, wenn Berechtigungen sauber geregelt sind. Denn nicht jedes Dokument darf für jede Person sichtbar sein – und nicht jede Antwort darf aus jeder Quelle entstehen. Genau deshalb reicht es nicht, einfach „alle PDFs einzulesen“ und den Assistenten dann für alle freizugeben.

In der Praxis braucht ein belastbares Setup klare Rollen und Datenräume: Wer darf nur öffentliche oder allgemeine Inhalte abfragen? Wer darf auf interne Richtlinien, Kundeninformationen oder projektspezifische Dokumente zugreifen? Und wie wird sichergestellt, dass ein Nutzer nur Antworten aus Quellen erhält, die für seine Rolle tatsächlich freigegeben sind? Gerade bei mehreren Abteilungen, Mandanten oder sensiblen Dokumenten ist diese Trennung kein Extra, sondern Grundvoraussetzung.

Typisch sind dabei drei Ebenen der Zugriffskontrolle: erstens die Dokumentfreigabe (welche Inhalte überhaupt in den Assistenten aufgenommen werden), zweitens die Nutzerrolle (wer welche Inhalte abfragen darf) und drittens die Antwortlogik (welche Quellen für eine konkrete Anfrage verwendet werden dürfen). So wird verhindert, dass der Assistent zwar technisch korrekt antwortet, dabei aber Informationen aus einem unzulässigen Datenraum zieht.

Gerade für KMU ist wichtig: Rollen- und Zugriffskonzepte müssen nicht überkompliziert sein – aber sie müssen bewusst definiert werden. Ein einfaches, sauberes Modell aus Benutzergruppen, freigegebenen Dokumentbereichen und nachvollziehbarer Rechtevergabe ist oft deutlich wertvoller als eine technisch mächtige, aber unklare Lösung.

Quellenlogik: nachvollziehbar statt „Black Box“

Quellen sind bei einem RAG-Assistenten nicht nur ein Komfortmerkmal, sondern ein zentrales Vertrauens- und Governance-Element. Denn sobald Antworten auf Dokumentwissen beruhen sollen, stellt sich automatisch die Frage: Woher kommt diese Aussage? Wenn das nicht nachvollziehbar ist, bleibt der Assistent trotz guter Formulierungen eine Black Box – und genau das ist in Support, internen Prozessen oder kundenbezogenen Szenarien riskant.

Eine saubere Quellenlogik bedeutet deshalb: Der Assistent sollte nicht nur antworten, sondern idealerweise auch zeigen, auf welche Dokumente oder Textstellen sich die Antwort stützt. Das hilft auf mehreren Ebenen gleichzeitig: Nutzer können Inhalte schneller prüfen, Fehler lassen sich gezielter korrigieren, veraltete Dokumente werden sichtbar – und Verantwortliche behalten die Kontrolle darüber, welche Wissensbasis tatsächlich wirksam ist.

In der Praxis ist Quellenlogik außerdem ein wichtiges Qualitätsinstrument. Wenn ein Assistent regelmäßig schwache oder unpassende Quellen zieht, ist das kein bloßes „Modellproblem“, sondern oft ein Hinweis auf Lücken in der Dokumentbasis, unklare Chunking-Strategien, fehlerhafte Metadaten oder eine unsaubere Retrieval-Konfiguration. Sichtbare Quellen machen diese Probleme greifbar – und damit verbesserbar.

Für Unternehmen bedeutet das: Je kritischer die Antworten sind, desto wichtiger ist Transparenz. Gerade bei internen Richtlinien, Produktwissen, Datenschutzthemen oder Prozessfragen sollte ein Assistent nie nur „klingt plausibel“, sondern überprüfbar und nachvollziehbar arbeiten. Genau dort zeigt sich, ob ein RAG-System nur beeindruckend formuliert – oder wirklich verlässlich unterstützt.

Betrieb: Updates, Monitoring, Prompt-/Daten-Versionen

• Logging (ohne unnötige personenbezogene Daten)
• Versionierung von Dokumenten & Prompts
• Stop-Regeln bei unsicheren/high-risk Fragen
• Monitoring der Antwortqualität (KPIs + Review-Prozess)

Kurz-Checkliste

• Dokumentenbasis definiert + Datenminimierung
• Hosting/Verarbeitung transparent (EU/on-prem, AVV)
• Rollen & Zugriffskontrolle
• Quellenanzeige + Logging-Konzept
• Betriebsregeln (Updates, Versionen, Stop-Regeln)

Häufige Fragen (FAQ)

Ist RAG automatisch DSGVO-konform?

Nein. RAG ist eine Architektur, kein Datenschutzkonzept. DSGVO-tauglich wird es durch Datenminimierung, Rollen/Zugriff, saubere Auftragsverarbeitung, Logging-Regeln und kontrollierten Betrieb.

Müssen personenbezogene Daten aus den Dokumenten raus?

Wenn sie für den Use-Case nicht nötig sind: ja (Datenminimierung). Wenn sie nötig sind, braucht es klare Rechtsgrundlagen, Zugriffskontrolle und ggf. zusätzliche Schutzmaßnahmen.

Warum sind Quellen so wichtig?

Quellen machen Antworten überprüfbar, erhöhen Vertrauen und helfen bei Korrekturen. Außerdem sind sie ein Governance-Werkzeug: Man sieht, welche Daten wirklich genutzt wurden.

Kann man RAG on-prem betreiben?

Ja – das ist oft sinnvoll, wenn Datenhoheit und Integrationen im Vordergrund stehen. Alternativ ist EU-Hosting möglich, wenn Verträge und Verarbeitung transparent sind.

Wie verhindert man Halluzinationen?

Nie zu 100% – aber deutlich reduzierbar: gute Dokumentqualität, sauberes Retrieval, klare Prompt-Regeln, Rückfragen bei Unsicherheit und konsequente Quellenanzeige.

Wenn Sie einen RAG-Assistenten planbar und datenschutzsauber umsetzen möchten: Digitale Strategie & KI.