Ein Mitarbeiter gibt Kundendaten in ChatGPT ein, um eine Angebotsanalyse zu erstellen. Ein KI-gestütztes Recruiting-Tool sortiert Bewerber automatisch aus, ohne dass ein Mensch die Entscheidung prüft. Ein Unternehmen setzt ein KI-System zur Bonitätsprüfung ein, dessen Trainingsdaten personenbezogene Informationen enthalten, für die keine Rechtsgrundlage existiert. Drei Szenarien, die in österreichischen Unternehmen täglich vorkommen – und die alle einen DSGVO-Verstoß darstellen können. Wenn ein solcher Verstoß zum Streitfall wird, braucht die Datenschutzbehörde, das Gericht oder das betroffene Unternehmen eine technische Bewertung. Was genau muss ein Gutachten in solchen Fällen klären? Wo endet die technische Beurteilung, und wo beginnt die rechtliche? Dieser Beitrag zeigt die typischen KI-Datenschutzkonflikte und erklärt, welche Fragen ein IT-Sachverständiger beantworten kann – und welche nicht.
Warum KI und DSGVO kollidieren
Die DSGVO ist technologieneutral formuliert – sie verbietet nicht den Einsatz von KI. Aber sie stellt Anforderungen, die KI-Systeme strukturell schwer erfüllen können. Das liegt an drei Grundkonflikten:
Transparenz versus Black Box. Art. 13 und 14 DSGVO verlangen, dass Betroffene über Zweck, Art und Umfang der Verarbeitung ihrer Daten informiert werden. Bei einem klassischen CRM-System ist das einfach: Name und Adresse werden für die Kundenverwaltung gespeichert. Bei einem Machine-Learning-Modell, das Kundenverhalten vorhersagt, ist die Verarbeitungslogik für Laien kaum nachvollziehbar – und oft auch für den Betreiber selbst nicht vollständig transparent.
Datenminimierung versus Datenhunger. Art. 5 Abs. 1 lit. c DSGVO verlangt, dass nur die für den Zweck erforderlichen Daten verarbeitet werden. KI-Systeme werden typischerweise besser, je mehr Daten sie verarbeiten. Dieses Spannungsfeld führt dazu, dass Unternehmen häufig mehr Daten in KI-Systeme einspeisen, als für den konkreten Zweck erforderlich wäre.
Automatisierte Entscheidungen versus menschliche Kontrolle. Art. 22 Abs. 1 DSGVO verbietet grundsätzlich Entscheidungen, die ausschließlich auf automatisierter Verarbeitung beruhen und rechtliche Wirkung entfalten oder die betroffene Person erheblich beeinträchtigen. Der EuGH hat in seiner Entscheidung zum SCHUFA-Scoring (C-634/21, 7.12.2023) klargestellt, dass dieses Verbot weit auszulegen ist und auch dann greift, wenn ein Dritter – etwa eine Bank – die KI-gestützte Bewertung maßgeblich zur Grundlage seiner Entscheidung macht.
Diese Grundkonflikte führen zu konkreten Verstößen, die in der Praxis immer häufiger auftreten.
Die vier häufigsten KI-Datenschutzverstöße
Szenario 1: Kundendaten in Cloud-KI-Diensten
Das Alltags-Szenario: Ein Mitarbeiter nutzt die kostenlose Version von ChatGPT, um aus einer Kundenliste eine Zielgruppenanalyse zu erstellen. Er kopiert Namen, E-Mail-Adressen und Kaufhistorien in den Chat. Oder ein Support-Mitarbeiter füttert ein KI-Tool mit Kundenbeschwerden, die persönliche Details enthalten.
Die DSGVO-Probleme sind mehrschichtig. Die personenbezogenen Daten werden an OpenAI in den USA übermittelt – ein Drittlandtransfer nach Art. 44 ff. DSGVO, der einer geeigneten Grundlage bedarf. Bei der Consumer-Version von ChatGPT liegt kein Auftragsverarbeitungsvertrag nach Art. 28 DSGVO vor. OpenAI verwendet die eingegebenen Daten bei der Consumer-Version standardmäßig zum Training seiner Modelle – die Daten werden also zu einem eigenen Zweck weiterverarbeitet, für den keine Rechtsgrundlage des einspeisenden Unternehmens existiert. Die betroffenen Kunden wurden in der Regel nicht darüber informiert, dass ihre Daten an einen US-amerikanischen KI-Anbieter übermittelt werden.
Was ein Gutachten klären muss: Welche Daten wurden konkret übermittelt? An welchen Empfänger, auf welchem technischen Weg? Welche Lizenzversion wurde verwendet, und welche vertraglichen Regelungen bestanden? Wurden die Daten nachweislich für Modelltraining verwendet? Existierten zum Zeitpunkt der Übermittlung technische Schutzmaßnahmen (etwa Anonymisierung oder Pseudonymisierung der Daten vor der Eingabe)?
Szenario 2: Automatisierte Entscheidungen ohne menschliche Kontrolle
Ein Unternehmen setzt ein KI-gestütztes Recruiting-Tool ein. Eingehende Bewerbungen werden automatisch analysiert, bewertet und in Kategorien eingeteilt. Bewerber, die unter einem bestimmten Score liegen, erhalten automatisch eine Absage – ohne dass ein Mensch die Entscheidung jemals gesehen hat.
Das ist ein Verstoß gegen Art. 22 Abs. 1 DSGVO, der betroffenen Personen das Recht gibt, nicht einer ausschließlich auf automatisierter Verarbeitung beruhenden Entscheidung unterworfen zu werden, die sie erheblich beeinträchtigt. Eine automatisierte Ablehnung im Bewerbungsverfahren ist das Lehrbuchbeispiel, das Erwägungsgrund 71 der DSGVO ausdrücklich nennt.
Besonders problematisch: Viele Unternehmen glauben, durch einen „Human in the Loop“ den Anforderungen zu genügen. Aber wenn ein Recruiter bei 500 Bewerbungen routinemäßig die KI-Empfehlung übernimmt, ohne die aussortierten Kandidaten inhaltlich zu prüfen, liegt faktisch weiterhin eine ausschließlich automatisierte Entscheidung vor. Die menschliche Kontrolle muss substantiell sein, nicht nur formal.
Was ein Gutachten klären muss: Wie funktioniert der Entscheidungsprozess technisch? Gibt es einen dokumentierten Punkt, an dem ein Mensch die KI-Entscheidung inhaltlich prüft und übersteuern kann? Wie häufig wurde in der Praxis von der KI-Empfehlung abgewichen? Welche Kriterien verwendet das System für seine Bewertung, und sind darunter Merkmale, die als Proxy für geschützte Kategorien (Geschlecht, Alter, Herkunft) wirken können?
Szenario 3: Trainingsdaten mit Personenbezug
Ein Unternehmen entwickelt oder lässt ein KI-System entwickeln, das auf eigenen Kundendaten trainiert wird – etwa ein Empfehlungssystem, ein Scoring-Modell oder ein Chatbot, der auf historischen Kundenanfragen trainiert wurde. Die Trainingsdaten enthalten personenbezogene Informationen, für deren Verwendung zum Modelltraining keine Rechtsgrundlage vorliegt.
Auch die Trainingsphase ist eine Verarbeitung personenbezogener Daten im Sinne der DSGVO. Die ursprüngliche Rechtsgrundlage für die Datenerhebung (etwa Vertragserfüllung) deckt nicht automatisch eine Weiterverarbeitung zum KI-Training ab. Art. 6 Abs. 4 DSGVO erlaubt eine Weiterverarbeitung zu einem anderen Zweck nur, wenn dieser mit dem ursprünglichen Zweck vereinbar ist – was bei KI-Training selten ohne Weiteres angenommen werden kann.
Was ein Gutachten klären muss: Welche Daten wurden für das Training verwendet? Enthalten die Trainingsdaten direkte oder indirekte Personenbezüge? Wurden die Daten vor dem Training anonymisiert – und wenn ja, auf welchem technischen Niveau (echte Anonymisierung oder nur Pseudonymisierung)? Ist eine Re-Identifizierung möglich? Kann das trainierte Modell personenbezogene Daten aus den Trainingsdaten reproduzieren (sogenannte Memorization)?
Szenario 4: Fehlende oder unzureichende Datenschutz-Folgenabschätzung
Art. 35 Abs. 3 lit. a DSGVO schreibt eine Datenschutz-Folgenabschätzung (DSFA) vor, wenn eine systematische und umfassende Bewertung persönlicher Aspekte natürlicher Personen auf Grundlage automatisierter Verarbeitung – einschließlich Profiling – erfolgt und Entscheidungen darauf gestützt werden, die rechtliche Wirkung entfalten. In der Praxis: Fast jedes KI-System, das personenbezogene Daten verarbeitet und Entscheidungen beeinflusst, erfordert eine DSFA.
Viele Unternehmen haben entweder gar keine DSFA durchgeführt oder nur eine oberflächliche, die die spezifischen Risiken des KI-Systems nicht adressiert. Eine DSFA für ein KI-System muss andere Fragen beantworten als eine für ein klassisches IT-System: Welche Bias-Risiken bestehen? Wie nachvollziehbar sind die Entscheidungen? Welche Auswirkungen haben fehlerhafte Vorhersagen?
Was ein Gutachten klären muss: Wurde eine DSFA durchgeführt? Adressiert sie die spezifischen Risiken des KI-Systems (Bias, Opazität, Fehleranfälligkeit)? Entspricht die dokumentierte Risikobewertung dem tatsächlichen Systemverhalten? Wurden die in der DSFA definierten Schutzmaßnahmen tatsächlich implementiert?
Die Grenze: Was der IT-Sachverständige beurteilt und was nicht
In DSGVO-Streitigkeiten mit KI-Bezug besteht eine klare Aufgabenteilung zwischen technischer und rechtlicher Beurteilung. Diese Grenze zu kennen, ist für Richter, Anwälte und Unternehmen gleichermaßen wichtig.
Der IT-Sachverständige beurteilt die technischen Tatsachen. Er rekonstruiert Datenflüsse: Welche Daten fließen von wo nach wo, über welche technischen Wege, an welche Empfänger? Er analysiert Systemarchitekturen: Wie ist das KI-System aufgebaut, welche Komponenten verarbeiten welche Daten? Er bewertet technische Schutzmaßnahmen: Wurde anonymisiert oder pseudonymisiert, und auf welchem Niveau? Waren Verschlüsselung, Zugriffskontrollen und Protokollierung implementiert? Er prüft die Nachvollziehbarkeit: Lässt sich rekonstruieren, wie eine bestimmte KI-Entscheidung zustande kam? Existieren Logs, Audit-Trails, Modellversionierungen?
Der IT-Sachverständige beurteilt nicht die rechtliche Einordnung. Ob ein bestimmter Datenfluss eine Auftragsverarbeitung nach Art. 28 DSGVO oder eine gemeinsame Verantwortlichkeit nach Art. 26 DSGVO darstellt, ist eine Rechtsfrage. Ob eine bestimmte Rechtsgrundlage (Einwilligung, berechtigtes Interesse, Vertragserfüllung) für eine Verarbeitung ausreicht, ebenso. Ob eine Anonymisierung rechtlich als ausreichend gilt, ist eine Wertungsfrage, die der Jurist auf Basis der technischen Feststellungen des Sachverständigen beantwortet.
Die Stärke des Gutachtens liegt genau in dieser Trennung: Der Sachverständige liefert die technische Tatsachengrundlage, auf der die rechtliche Beurteilung aufbaut. Er sagt nicht „Das ist ein DSGVO-Verstoß“, sondern „Die Daten wurden ohne Anonymisierung an einen Server in den USA übermittelt, ohne dass ein Auftragsverarbeitungsvertrag dokumentiert ist, und das Modelltraining mit diesen Daten war in der Standardkonfiguration aktiviert.“ Die rechtliche Schlussfolgerung zieht das Gericht oder die Datenschutzbehörde.
Der Aufbau eines DSGVO-KI-Gutachtens
Ein Gutachten zu KI-Datenschutzverstößen folgt typischerweise einer Struktur, die sich aus den Anforderungen der DSGVO ableitet:
1. Systemanalyse. Was ist das KI-System, wie funktioniert es, welche Daten verarbeitet es? Hier wird das System technisch beschrieben: Architektur, eingesetzte Modelle, Datenquellen, Verarbeitungsschritte. Die Systembeschreibung muss so präzise sein, dass die nachfolgenden Prüfungen darauf aufbauen können.
2. Datenflussanalyse. Welche personenbezogenen Daten fließen in das System, innerhalb des Systems und aus dem System heraus? Wohin werden Daten übermittelt? An welche Auftragsverarbeiter, Sub-Auftragsverarbeiter, Drittlandsempfänger? Die Datenflussanalyse ist das Kernstück des Gutachtens, weil fast jede DSGVO-Prüfung darauf aufsetzt.
3. Bewertung der technischen Schutzmaßnahmen. Sind die implementierten Schutzmaßnahmen (Verschlüsselung, Pseudonymisierung, Zugriffskontrollen, Löschroutinen) dem Stand der Technik entsprechend? Sind sie wirksam, dokumentiert und nachweisbar? Hier vergleicht der Sachverständige den Ist-Zustand mit dem, was nach Stand der Technik und Branchenstandard erwartbar wäre.
4. Analyse automatisierter Entscheidungen. Trifft das System Entscheidungen, die Personen betreffen? Wenn ja: Wie läuft der Entscheidungsprozess technisch ab? Gibt es einen wirksamen Human-in-the-Loop? Ist die Entscheidungslogik nachvollziehbar und dokumentiert?
5. Prüfung der DSFA-Konformität. Wurde eine Datenschutz-Folgenabschätzung durchgeführt, und stimmt sie mit der technischen Realität des Systems überein? Hier prüft der Sachverständige nicht die rechtliche Qualität der DSFA, sondern ob die darin beschriebenen technischen Maßnahmen tatsächlich implementiert sind.
6. Befund und Zusammenfassung. Die technischen Feststellungen werden zusammengefasst, ohne rechtliche Wertung, aber so formuliert, dass sie als Grundlage für die rechtliche Beurteilung dienen.
KI und DSGVO in der Praxis: Was Unternehmen jetzt tun sollten
Der häufigste Grund für DSGVO-Verstöße durch KI ist nicht böse Absicht, sondern fehlendes Bewusstsein. Mitarbeiter nutzen KI-Tools, ohne die datenschutzrechtlichen Implikationen zu kennen. Unternehmen setzen KI-Systeme ein, ohne zu prüfen, ob eine DSFA erforderlich ist. KI-Anbieter werden beauftragt, ohne die Frage der Auftragsverarbeitung zu klären.
Fünf Maßnahmen reduzieren das Risiko erheblich:
KI-Nutzungsrichtlinie einführen. Eine interne Richtlinie, die festlegt, welche KI-Tools für welche Zwecke genutzt werden dürfen, welche Daten eingegeben werden dürfen und welche nicht, und welche Freigabeprozesse gelten.
Auftragsverarbeitungsverträge prüfen. Für jeden KI-Anbieter, an den personenbezogene Daten übermittelt werden, muss die datenschutzrechtliche Rolle geklärt sein. Bei Cloud-KI-Diensten wie ChatGPT, Gemini oder Copilot ist das Lizenzmodell entscheidend: Enterprise- und API-Lizenzen bieten in der Regel AVVs und die Möglichkeit, Modelltraining zu deaktivieren. Consumer-Versionen tun das in der Regel nicht.
DSFA für KI-Systeme durchführen. Jedes KI-System, das personenbezogene Daten verarbeitet und Entscheidungen beeinflusst, sollte einer Datenschutz-Folgenabschätzung unterzogen werden. Diese muss die KI-spezifischen Risiken adressieren: Bias, Opazität, Fehleranfälligkeit, Drittlandtransfer.
Automatisierte Entscheidungen überprüfen. Alle Prozesse, in denen KI-Systeme Entscheidungen über Personen treffen oder beeinflussen, müssen auf Art. 22 DSGVO geprüft werden. Wo automatisierte Entscheidungen mit erheblicher Wirkung vorliegen, muss ein substantieller Human-in-the-Loop implementiert und dokumentiert werden.
KI-Audit durchführen lassen. Ein IT-Sachverständiger kann als externer Prüfer die Datenschutzkonformität der KI-Systeme bewerten – bevor die Datenschutzbehörde es tut. Das Ergebnis ist ein dokumentierter Bericht, der im Prüffall als Nachweis sorgfältiger Compliance-Bemühungen dient.
Fazit
Die DSGVO verbietet KI nicht. Aber sie stellt Anforderungen an Transparenz, Datenminimierung und menschliche Kontrolle, die viele KI-Anwendungen in ihrer Standardkonfiguration nicht erfüllen. Die häufigsten Verstöße entstehen nicht durch exotische Anwendungsfälle, sondern durch Alltags-Szenarien: Mitarbeiter, die Kundendaten in Cloud-KI-Tools eingeben; Recruiting-Software, die automatisch aussortiert; Scoring-Systeme ohne DSFA.
Wenn ein solcher Verstoß zum Streitfall wird – vor der Datenschutzbehörde, einem Gericht oder im Rahmen einer Schadensersatzklage –, braucht die entscheidende Stelle eine technische Grundlage. Welche Daten sind wohin geflossen? Wie funktioniert das System wirklich? Wurden die dokumentierten Schutzmaßnahmen tatsächlich umgesetzt?
Genau das klärt ein IT-Sachverständiger. Nicht die Rechtsfrage, ob ein Verstoß vorliegt – aber die technischen Tatsachen, ohne die diese Rechtsfrage nicht beantwortet werden kann. Die Datenschutz-Folgenabschätzung wird durch KI nicht einfacher. Aber ein Sachverständiger kann sie technisch fundieren – und damit den Unterschied zwischen Hoffnung und Nachweis machen.