Anwendungsfälle im Spannungsfeld von Datenschutz und KI-Verordnung
Künstliche Intelligenz (KI) hat in vielen Industrien revolutionäre Entwicklungen ausgelöst, auch der Bereich der Streitbeilegung bildet hier keine Ausnahme. Von der Automatisierung routinemäßiger Aufgaben über die Analyse umfangreicher Datenmengen bis hin zur Erstellung von Schriftsätzen und der Analyse komplexer rechtlicher Probleme bietet KI erhebliches Potenzial. Die Nutzung von KI in der Streitbeilegung wirft jedoch auch zahlreiche praktische sowie rechtliche Fragen und nicht zuletzt ethische Bedenken auf.
In diesem Artikel werden aktuelle und zukünftige Anwendungsmöglichkeiten von KI in der Streitbeilegung überblicksartig dargestellt und auf die damit verbundenen ethischen und rechtlichen Bedenken eingegangen. Besondere Schwerpunkte liegen auf der Analyse der mit dem Einsatz von KI-Tools verbundenen datenschutzrechtlichen Dimension sowie auf den Pflichten der KI-Verordnung.
1.2 Strukturierung und Analyse großer Datenmengen
Ein bewährtes Einsatzfeld mit enorm großen Effizienzgewinnen stellt gegenwärtig vor allem die Strukturierung und Analyse großer Datenmengen durch KI-Systeme dar. Zwar sind die aus der E-Discovery bekannten Review-Plattformen jetzt schon in der Lage, Million von Dokumenten zu verarbeiten und durchsuchbar zu machen. Aber erst mit Hilfe der nun hinzutretenden Möglichkeiten der KI, insbesondere in Form leistungsfähiger „Large Language Models“ (LLM), können Massendaten nun auch schnell und mit hoher Zuverlässigkeit analysiert werden.
In der Paraphrasierung und Analyse großer Mengen von Schriftstücken dürfte zurzeit die größte Stärke von KI-gestützten Tools im Disputes-Bereich liegen. Diese Systeme können bereits heute schnell und mit großer Zuverlässigkeit große Mengen unstrukturierter Dokumente durchsuchen, diese nach Relevanz kategorisieren, Inhalte zusammenfassen und relevante Muster hervorheben. Diese Fähigkeit erlaubt es, schon innerhalb weniger Stunden und extrem kostengünstig einen belastbaren Eindruck von Inhalt und Stoßrichtung großer Dokumentenmengen zu erlangen. Noch vor Kurzem war dies ein im Wesentlichen händischer und dadurch zeit- und kostenintensiver Prozess.
Besonders hilfreich sind dabei Systeme, die in der generierten Textantwort Originaldokumente verlinken oder direkt anzeigen. Auf Tastendruck können Zusammenfassungen oder tabellarische Auswertungen unter bestimmten Kriterien erzeugt und Dokumente beispielsweise nach den in ihnen geschilderten Ereignissen chronologisch sortiert werden. Besonders hilfreich ist die sog. Sprach-Agnostik der gängigen LLMs, die die Ausgangssprache eines Dokuments weitestgehend irrelevant macht. Selbstverständlich können mithilfe der KI-Systeme nicht nur Primärquellen, sondern auch im streitigen Verfahren entstandene Unterlagen wie z.B. Schriftsätze oder „Hearing Transcripts“ durch KI-Systeme analysiert und beispielsweise auf Widersprüche oder neuen Vortrag geprüft werden.
Zur Wahrheit gehört aber auch darauf hinzuweisen, dass die Nutzung von KI-Systemen für die Analyse großer Datenmengen mit Risiken verbunden ist. Wie immer ist die Qualität der Datengrundlage entscheidend, ebenso wie die Qualität der Fragestellung (sog. Prompting) – mit schlechten Ausgangsdaten und ungeeigneten Fragen wird die KI keine guten Antworten liefern. Außerdem besteht die Gefahr, dass das KI-System subtile, nur kontextuell erschließbare Hinweise übersieht, die einem menschlichen Prüfer aufgefallen wären, und die KI daher relevante Dokumente fälschlicherweise aus der Analyse und Darstellung ausklammert.
1.3 Routineaufgaben
KI-Systeme können bestimmte, vor allem repetitive Tätigkeiten mit gleicher Qualität, aber zu einem Bruchteil der Kosten erledigen. Beispielsweise können bisher manuell erstellte sog. Privilege-Logos[1] heute KI-gestützt erzeugt werden. Die KI erkennt anhand des Inhalts eines Dokuments, aus welchem Grund sich das Privilege ergibt und formuliert eigenständig den zusammenfassenden Vermerk. Möglich ist beispielsweise auch, Schriftstücke und Anlagen mithilfe von KI übersetzen zu lassen und zertifizierte Übersetzer nur noch zur Nachkontrolle einzusetzen. Auch Anlagenverzeichnisse, Chronologien oder bestimmte tabellarische Darstellungen lassen sich bereits heute in wenigen Minuten und in den gängigen Sprachen erstellen.
Während sich die aktuelle Nutzung von KI weitgehend auf die Automatisierung bestimmter Aufgaben und die Strukturierung sowie Analyse von Informationen konzentriert, könnte KI zukünftig unmittelbar bei der Entscheidungsfindung auch in komplexen Streitfällen eine Rolle spielen. Diese Einsatzmöglichkeit zieht allerdings beachtliche ethische und rechtliche Bedenken nach sich.
Eine der am häufigsten diskutierten zukünftigen Anwendungen von KI in der Streitbeilegung ist ihre potenzielle Rolle bei der Entscheidungsfindung in bestimmten Arten von Streitfällen, insbesondere bei niedrigwertigen und einer Vielzahl von gleich gelagerten Ansprüchen. KI kann darauf trainiert werden, Fakten zu analysieren, diese unter die anwendbaren Regelungen und die einschlägige Judikatur zu subsumieren und auf dieser Grundlage eine Entscheidung zu treffen.
Mit der Weiterentwicklung der KI-Technologie kommen zudem komplexere Streitbereiche in die Reichweite der Algorithmen. Allerdings wirft der Einsatz von KI zur Entscheidung von Streitfällen ernstzunehmende ethische Bedenken auf. Außerdem sind datenschutzrechtliche Fallstricke zu berücksichtigen.
3.1 Potenzielle Voreingenommenheit der KI
Eines der am häufigsten diskutierten Probleme ist das Potenzial von KI-Modellen für Voreingenommenheit („bias“). KI-Systeme werden mit historischen Daten trainiert, die bestehende Ungleichgewichte im Rechtssystem abbilden. Eine darauf basierende Entscheidung trägt die Gefahr der Perpetuierung solcher Unwuchten in sich.
Relevant ist dies insbesondere bei sozialen oder kulturellen Merkmalen von Individuen und Gruppen. Voreingenommenheit kann sich in der Bevorzugung bestimmter Individuen oder Gruppen aufgrund sachfremder Erwägungen manifestieren, oder sich in sog. algorithmischer Voreingenommenheit ausdrücken, also der fälschlichen Gewichtung bestimmter Argumente oder Fakten durch die KI.
Praktische Auswirkungen wären insbesondere im Bereich der B2C-Streitigkeiten zu befürchten. Es müsste daher durch geeignete Maßnahmen wie z.B. einer kontinuierlichen Überprüfung der Ergebnisse anhand statistischer Modelle oder anderer geeigneter Tests sichergestellt werden, dass derartige Entscheidungen legitim und nicht unter dem Gesichtspunkt des „bias“ angreifbar, also letztlich fair sind.
3.3 Datenschutz und Datensicherheit
Sollen auch personenbezogene Daten verarbeitet werden, sind zwingend die Vorschriften des Datenschutzes einzuhalten. Bei der Frage des datenschutzkonformen Einsatzes von KI-Systemen mit LLMs lassen sich zwei grundlegende Anwendungsfelder unterscheiden: Zum einen handelt es sich um das Trainieren eines eigenen LLMs mit zumindest auch personenbezogenen Daten, zum anderen um die Verwendung eines KI-Systems, das ein oder mehrere bereits vortrainierte LLMs nutzt. Datenschutzrechtliche Fragen des Trainierens eines LLM sind hoch umstritten,[2] betreffen jedoch im Kern lediglich die Hersteller von LLMs. Im Disputes-Kontext werden datenschutzrechtliche Fragen vorrangig im Rahmen der Verwendung von KI-Systemen zu beantworten sein, wenn Parteien, ihre Vertreter, Richter oder Schiedsrichter Dokumente mit personenbezogenen Daten mit Hilfe von KI-Tools analysieren.
Wie oben bereits umrissen, wird sich vor allem die Analyse von unstrukturierten Massen-Rohdaten wie z.B. E-Mails, Word-Dokumenten und PDF-Dateien zu einem ersten großen Anwendungsfeld von KI-Tools im streitigen Bereich entwickeln. Bislang kamen suchwortbasierte Analysemethoden – selbst, wenn „technology assisted“ – nie ohne einen anschließenden menschlichen Review aus. Dieser ist in Streitfällen zwar datenschutzrechtlich gut zu rechtfertigen, aber gerade in multi-lingualen Konstellationen und bei mehrstufigen Reviews äußerst aufwändig, langwierig und kostenintensiv. LLMs könnten hier entscheidende Effizienzgewinne bringen, indem sie Analyseergebnisse ohne vorherige Eingrenzung, Sortierung, Filterung oder menschliche Sichtung erzeugen und darüber hinaus auch sprachagnostisch funktionieren.
Hierin liegt aber bei erster Betrachtung ein konzeptioneller Widerspruch zu einer Grundfeste im Datenschutz, der Datensparsamkeit, da vor einer Datenanalyse keine datenminimierenden Schritte wie das sog. Culling oder der Einsatz von Suchworten und Filter zur Begrenzung der in einem Review zu sichtenden Dokumente mehr notwendig sind. Diesen Widerspruch gilt es aufzulösen.
Im Ausgangspunkt handelt es sich bei den skizzierten Anwendungsmöglichkeiten um Verarbeitungen personenbezogener Daten i.S.v. Art. 4 Nr. 2 DS-GVO. Für die Rechtmäßigkeit einer Verarbeitung bedarf es immer einer Rechtsgrundlage nach Art. 6 DS-GVO, wobei die Verarbeitung aufgrund eines berechtigten Interesses nach Art. 6 Abs. 1 lit. f DS-GVO die größte praktische Bedeutung hat. Zur Begründung eines berechtigten Interesses ließe sich hinsichtlich der oben beschriebenen Anwendungsfälle sagen, dass KI-basierte Sachverhaltsermittlung schnellere, bessere und kostengünstigere Ergebnisse erzielen, als es ein Suchwort-basierter Review kann. KI-Systeme mit LLMs ermöglichen auch ein sog. Early Case Assessment, weil mittels „Prompting“ auf im frühen Verfahrensstadium relevante Sachverhaltsfragen kurzfristig spezifische Antworten erzeugt werden können. Auch im weiteren Verlauf eines Verfahrens kann immer wieder gegen den Datenbestand gefragt und so auf veränderte Verfahrensumstände reagiert oder die eigene Strategie überprüft werden. Festzuhalten ist, dass die gesteigerte Geschwindigkeit und Zuverlässigkeit, aber insbesondere auch das wirtschaftliche Interesse an der Anwendung von KI-basierten Tools ein berechtigtes Interesse i.S.v. Art. 6 Abs. 1 lit. f DS-GVO begründen können.
Praxisrelevant ist hier eine nachvollziehbare Dokumentation. Anwender sollten ihre Erwägungen bei dem Einsatz von KI-Tools im datenschutzrelevanten Bereich verschriftlichen, um das Bestehen eines berechtigten Interesses für etwaige Überprüfungen oder Streitfälle zu dokumentieren.
Des Weiteren muss die Verarbeitung erforderlich sein. Die Erforderlichkeit wird sich bei dem Einsatz von KI-Tools zur Analyse von unstrukturierten Massendaten daraus ergeben, dass eine herkömmliche Datensammlung und ein klassischer Review dieser Daten jedenfalls nicht gleich geeignet zur Erreichung des Ziels einer schnellen und kostengünstigen Sichtung sind.
Schließlich muss geprüft werden, ob dem berechtigten Interesse an der KI-gestützten Datenverarbeitung möglicherweise relevante Interessen der betroffenen Personen entgegenstehen. Hier ist insbesondere fraglich, ob der Einsatz von KI-Tools die Eingriffsintensität erhöht. Allein die Tatsache, dass schnellere, präzisere und kostengünstigere Analysen ermöglicht werden, dürfte für sich genommen hier keine Rolle spielen. Allerdings werden in diesem Schritt KI-spezifische Risiken relevant, beispielsweise die oben beschriebenen Risiken der Intransparenz und mangelhaften Nachprüfbarkeit bis hin zur sog. Halluzination.
Anwender von KI-Tools sollten daher durch geeignete Maßnahmen sicherstellen, dass diese spezifischen Risiken bestmöglich mitigiert werden. Anhaltspunkte für konkrete Maßnahmen lassen sich Art. 5 DS-GVO entnehmen. So muss die Datenverarbeitung gem. Art. 5 Abs. 1 lit. b DS-GVO für festgelegte, eindeutige und legitime Zwecke erfolgen. In der Praxis bedeutet das, dass Analysezwecke und daraus abgeleitete „Prompting“-Vorgaben vorab festgelegt und zusammen mit den entsprechenden In- und Outputs dokumentiert werden sollten. Außerdem schreibt Art. 5 Abs. 1 lit. d DS-GVO vor, dass die Verarbeitung personenbezogener Daten sachlich richtig sein muss. In der Praxis sollten daher Möglichkeiten zur Validierung der KI-erzeugten Analysen verwendet werden. Insbesondere KI-Systeme, die ihre Ergebnisse untermauert von Quelldokumenten darstellen, dürften für die Minimierung KI-spezifischer Risiken unverzichtbar sein. Menschliche Kontrolle und Letztentscheidung werden dadurch aber selbstverständlich nicht obsolet.
Im Ergebnis ist Anwendern zu raten, sich schrittweise und in enger Abstimmung mit Datenschutzexperten vorzutasten. Ziel muss es sein, die technischen und rechtlichen Risiken frühzeitig zu erkennen und diesen vorzubeugen.
Datenschutzrechtlich beachtlich sind weiterhin die Transparenz- und Informationspflichten der DS-GVO, Art. 12 ff., sowie das in Art. 22 DS-GVO enthaltene grundsätzliche Verbot automatisierter Entscheidungen. Eine vertiefte Betrachtung dieser Aspekte würde allerdings den Rahmen einer kurzen Übersicht sprengen.
Im Ergebnis ist Anwendern zu raten, sich schrittweise und in enger Abstimmung mit Datenschutzexperten vorzutasten. Ziel muss es dabei sein, die mit dem Einsatz von KI-Systemen verbundenen technischen und rechtliche Risiken frühzeitig zu erkennen und diesen Risiken durch technische und organisatorische Maßnahmen vorzubeugen. Dabei sollte auch das Instrument einer Datenschutz-Folgenabschätzung gem. Art. 35 DS-GVO in Betracht gezogen werden.
Die Rolle der KI sollte darin bestehen, menschliche Entscheidungsfindung zu ergänzen, nicht sie zu ersetzen.
Diese Expansion muss mit Vorsicht angegangen werden. Ethische Bedenken, wie das Potenzial für Voreingenommenheit, die Notwendigkeit von Datenschutz und Privatsphäre sowie der grundsätzliche Mangel an Transparenz bei KI-Entscheidungen, müssen adressiert werden, um sicherzustellen, dass KI zu einem fairen und gerechten Streitbeilegungsprozess beiträgt. Aber auch rechtliche Pflichten aus der DS-GVO sowie die Pflichten der KI-VO müssen im Blick behalten werden. Insbesondere mit der KI-VO in ihrem derzeitigen Wortlaut dürfte ein ernstzunehmendes Hemmnis für den auch nur unterstützenden Einsatz von KI durch die Justiz und Schiedsgerichte im Bereich der Entscheidung streitiger Fälle entstanden sein.
Letztendlich bietet KI vielversprechende Möglichkeiten, Effizienz und Zugänglichkeit der Streitbeilegung zu verbessern. Dennoch muss die menschliche Aufsicht ein wesentlicher Bestandteil des Verfahrens bleiben. Die Rolle der KI sollte darin bestehen, menschliche Entscheidungsfindung zu ergänzen, nicht sie zu ersetzen. Es muss dabei sichergestellt werden, dass die Streitbeilegung ein Prozess bleibt, der auf Transparenz und Fairness basiert.
Dr. Karsten Grillitsch, LL.M.
ist Rechtsanwalt und für die Streitigkeiten der Robert Bosch GmbH verantwortlich. Es ist ihm ein wichtiges Anliegen, streitige Mandate mit dem Einsatz von KI-Tools effizienter und kostengünstiger lösen und den Finanzierungsbedarf zuverlässiger prognostizieren zu können.
Franziska Fuchs, LL.M.oec.
ist Rechtsanwältin mit dem Schwerpunkt IT-Recht und Vice President für e-Discovery bei der Robert Bosch GmbH. Sie berät in den Bereichen Datenschutz- und Datensicherheitsrecht, IT-Sicherheitsrecht und Information Governance.
Hinweis: Begriffe wie „Anwender“ bzw. „Betreiber“ etc. beziehen sich hier häufig auf die Legaldefinitionen. Aufgrund der besseren Lesbarkeit und Einheitlichkeit wird in diesem Artikel grundsätzlich das generische Maskulinum verwendet. Dies erfolgt ausschließlich aus redaktionellen Gründen.
Header © CoreDesignKEY – IStock ID: 2075197848
[1] Als Privilege-Logs werden im anglo-amerikanischen Rechtskreis Dokumente bezeichnet, in denen – etwas vereinfacht ausgedrückt – solche Unterlagen aufgeführt sind, die vom Anwaltsprivileg erfasst sind und aus diesem Grund der gegnerischen Seite nicht zur Verfügung gestellt werden müssen. Das Identifizieren und Zuordnen solcher Unterlagen fanden bislang in einem von händischer Arbeit geprägten Review-Prozess statt.
[2] Instruktiv hierzu das Diskussionspapier des Hamburgischen Beauftragten für Datenschutz und Informationsfreiheit, abrufbar unter https://datenschutz-hamburg.de/fileadmin/user_upload/HmbBfDI/Datenschutz/Informationen/240715_Diskussionspapier_HmbBfDI_KI_Modelle.pdf (letzter Zugriff: 30. Oktober 2024).
[3] Verordnung (EU) 2024/1689 zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz vom 13. Juni 2024.
[4] Siehe dazu auch Erwägungsgrund 61 der KI-VO.
[5] Erwägungsgrund 84 der KI-VO: „Um Rechtssicherheit zu gewährleisten, muss präzisiert werden, dass [es sich auch um ein Hochrisiko-System i.S.d. VO handelt, wenn] die Zweckbestimmung eines KI‑Systems, einschließlich eines KI‑Systems mit allgemeinem Verwendungszweck, das nicht als Hochrisiko-KI‑System eingestuft wurde und bereits in Verkehr gebracht oder in Betrieb genommen wurde, so verändert [wird], dass das KI‑System zu einem Hochrisiko-KI‑System im Sinne dieser Verordnung wird.“
[6] Dazu gehören insbesondere die Pflicht zur menschlichen Aufsicht (Abs. 2), zur Gewährleistung von Datenqualität und Representativität (Abs. 4), zur Überwachung und Einhaltung von Melde-, Informations- und Registrierungspflichten (Abs. 5, 7, 8, 11) sowie zur Durchführung einer Datenschutz-Folgenabschätzung (Abs. 9).
Container for the dynamic page
(Will be hidden in the published article)