KI-Assistent mit eigenen Dokumenten: datenschutzkonform und mit Quellenangabe

Wie das Verfahren funktioniert

Ein Sprachmodell kennt nur, was in seinen Trainingsdaten stand. Ihr Betriebshandbuch oder Ihre Förderrichtlinie gehört nicht dazu. Retrieval-Augmented Generation löst das, indem vor jeder Antwort gesucht wird: Die passenden Abschnitte aus Ihren Dokumenten werden zusammen mit der Frage an das Modell übergeben. Beschrieben wurde das Verfahren 2020 in einem Fachaufsatz von Lewis und anderen. Das BSI führt es in seinem Papier zu generativer KI unter den Gegenmaßnahmen (Version 2.0, Maßnahme M14): Das Modell greift auf Dokumente in einer Wissensdatenbank zu, ohne dass diese vorher als Trainingsmaterial verwendet wurden.

1. 1Aufbereiten: Texte aus den Dokumenten lesen, in Abschnitte teilen und mit Titel, Stand und Zuständigkeit versehen.
2. 2Indexieren: Die Abschnitte werden durchsuchbar gemacht, über eine Volltextsuche, eine semantische Suche oder beides.
3. 3Abrufen: Zu jeder Frage sucht das System die passendsten Abschnitte, unter Beachtung der Zugriffsrechte.
4. 4Antworten: Das Sprachmodell formuliert die Antwort aus diesen Abschnitten.
5. 5Belegen: Die Antwort zeigt, aus welchen Abschnitten sie stammt.

Volltextsuche, semantische Suche oder beides

Findet die Suche die falsche Stelle, kann auch das beste Modell nur aus der falschen Stelle antworten. Die Wahl des Suchverfahrens ist deshalb keine Nebensache. Das BSI nennt als Beispiel die semantische Suche über Text-Embeddings und eine Vektordatenbank. Daneben steht die klassische Volltextsuche.

Wie sich eine Volltextsuche allein verhält, können Sie in unserer Demo ausprobieren: BM25-Ranking über 13 Dokumente eines erfundenen Handwerksbetriebs, ohne Sprachmodell. Genau dieser Test gehört an den Anfang jedes Projekts.

Warum die Quelle wichtig ist

Sprachmodelle können Inhalte erfinden. Das BSI beschreibt solche Halluzinationen als großes Problem, weil die Ausgaben meist glaubhaft wirken, auch wenn Verweise frei erfunden sind. RAG senkt dieses Risiko, beseitigt es aber nicht. Wird angezeigt, auf welchen Textauszügen eine Antwort beruht, lassen sich die Folgen mildern, so das BSI.

Die Datenschutzkonferenz verlangt, Ergebnisse von KI-Anwendungen mit Personenbezug kritisch zu hinterfragen und vor der Weiterverarbeitung zu prüfen (Orientierungshilfe vom 6. Mai 2024, Rn. 64 f.). Eine gute Quellenangabe nennt deshalb nicht nur das Dokument, sondern auch Abschnitt, Stand und Ansprechperson. Dann sieht man sofort, ob eine Regel veraltet ist und wen man fragen kann.

Ebenso wichtig: Findet die Suche keine passende Stelle, sollte der Assistent das sagen, statt aus dem allgemeinen Wissen des Modells zu antworten. Testen Sie das gezielt mit Fragen, deren Antwort nicht in den Dokumenten steht.

Datenschutz: was die Aufsichtsbehörden empfehlen

Die Datenschutzkonferenz von Bund und Ländern hat am 6. Mai 2024 eine Orientierungshilfe zu KI und Datenschutz veröffentlicht. Für einen Dokumenten-Assistenten sind vor allem diese Punkte wichtig:

• Geschlossenes System bevorzugen: Bei geschlossenen Systemen liegt die Kontrolle über Ein- und Ausgaben bei den Anwendenden. Die DSK hält sie für vorzugswürdig (Rn. 15 bis 20).
• Kein Training mit Eingaben: Vorzugswürdig sind Anwendungen, die Ein- und Ausgaben nicht zum Training verwenden (Rn. 24).
• Vertrag mit dem Anbieter: Wer eine KI-Anwendung als Cloud-Dienst nutzt, hat mit dem Anbieter häufig ein Auftragsverarbeitungsverhältnis nach Art. 28 DSGVO (Rn. 32).
• Drittländer beachten: Bei Übermittlungen außerhalb der EU gelten die Regeln in Kapitel V der DSGVO (Rn. 17).
• Früh einbinden: Datenschutzbeauftragte und Beschäftigtenvertretung gehören an den Tisch (Abschnitt 1.12). Ob eine Datenschutz-Folgenabschätzung nötig ist, wird vorab geprüft (Abschnitt 2.3).
• Rechte technisch umsetzen: Das BSI rät, Zugriffsrechte in der Suche umzusetzen und nicht über Textanweisungen an das Modell, weil solche Anweisungen angreifbar sind (Maßnahme M14).

Drei Betriebsmodelle im Vergleich

Wo Dokumente und Modell laufen, lässt sich unterschiedlich lösen. Wichtig zu wissen: Bei RAG geht nicht der ganze Dokumentbestand an das Sprachmodell, sondern pro Frage nur die gefundenen Abschnitte zusammen mit der Frage.

ChatGPT mit eigenen Dokumenten: wann das reicht

Für einzelne Fragen an ein Dokument reicht ein allgemeiner Chatdienst oft aus. Entscheidend ist die Kontoart. OpenAI schreibt, dass Inhalte aus Diensten für Einzelpersonen wie ChatGPT zum Training verwendet werden können, wenn man nicht widerspricht. Für Geschäftskunden wie ChatGPT Enterprise und die API trainiert OpenAI nach eigener Angabe standardmäßig nicht mit Ein- und Ausgaben (abgerufen am 17.10.2026).

Der Hamburgische Beauftragte für Datenschutz und Informationsfreiheit rät in seiner Checkliste zu LLM-basierten Chatbots vom 13. November 2023 unter anderem zu dienstlichen Funktions-Accounts statt privater Konten, zum Widerspruch gegen das Training und dazu, keine personenbezogenen Daten einzugeben.

Ein eigener Assistent lohnt sich, wenn viele Personen mit denselben, gepflegten Dokumenten arbeiten, wenn Zugriffsrechte nötig sind, jede Antwort eine Quelle haben soll oder der Assistent ins Intranet, auf die Website oder in eine Fachanwendung gehört.

Welche Dokumente sich eignen

Am besten eignen sich Texte, die Regeln oder Wissen festhalten und eine eindeutige, aktuelle Fassung haben.

Grenzen, die man kennen sollte

• Die Antwort ist nur so gut wie die Dokumente. Widersprüchliche oder veraltete Fassungen führen zu widersprüchlichen Antworten.
• Fehler bleiben möglich. Auch mit RAG kann ein Modell eine Stelle falsch wiedergeben. Deshalb die Quelle und bei wichtigen Fragen der Blick hinein.
• Entscheidungen trifft ein Mensch. Entscheidungen mit Rechtswirkung dürfen nach Art. 22 DSGVO grundsätzlich nur Menschen treffen, betont die DSK (Rn. 12). Ein Assistent bereitet vor, ein Mensch entscheidet.
• Manipulierte Inhalte. Das BSI warnt, dass Angreifende manipulierte Inhalte in die Wissensbasis einschleusen können und Modelle Sätze in Texten als Anweisung missverstehen können. Nur geprüfte Dokumente gehören in den Bestand.
• Aktualität braucht Pflege. Neue Fassungen müssen in den Index, alte heraus. Das gehört zum Betrieb.
• Kennzeichnung. Nach Art. 50 der KI-Verordnung müssen Menschen erfahren, dass sie mit einem KI-System interagieren, wenn das nicht offensichtlich ist. Lassen Sie den Einzelfall rechtlich prüfen.

Kosten und Betrieb

Kosten entstehen an drei Stellen: bei der Einrichtung, beim laufenden Betrieb und bei der Nutzung des Sprachmodells. Zur Einrichtung gehört mehr als Technik, denn die Dokumente müssen gesichtet, bereinigt und aufbereitet werden.

In fünf Schritten zum eigenen Assistenten

1. 1Zweck festlegen: Wer fragt was? Sammeln Sie 30 bis 50 echte Fragen aus dem Alltag.
2. 2Dokumente sichten: eine gültige Fassung je Thema, Zuständige und Stand festhalten.
3. 3Betriebsmodell wählen: Speicherort, Modell und Verträge nach den Kriterien oben.
4. 4Erst die Suche testen: Kommen zu den gesammelten Fragen die richtigen Stellen? Erst dann das Modell anschließen.
5. 5Mit Quelle starten und auswerten: Welche Fragen bleiben unbeantwortet, welche Dokumente fehlen?

Wie wir dabei helfen

Wir bieten solche Assistenten in genau diesen Etappen an, mit Festpreis je Etappe und auf Wunsch mit Betrieb auf Servern in Deutschland. Einzelheiten und die Demo stehen auf der Seite KI-Assistent für eigene Dokumente entwickeln lassen, Hosting und Wartung unter Betrieb und Wartung. Liegen Ihre Unterlagen als Rechnungen, Lieferscheine oder Anträge vor, die ausgelesen werden sollen, passt eher Rechnungseingang automatisieren.