Rechtsgrundlagen im Datenschutz beim Einsatz von Künstlicher Intelligenz:
Diskutieren Sie mit!
Der LfDI BW will verantwortliche Stellen unterstützen und die nachhaltige digitale Entwicklung fördern, bei der Datenschutz und Künstliche Intelligenz von Anfang an gemeinsam gedacht werden müssen. So können sowohl die Freiheitsrechte der Bürger_innen gestärkt als auch Innovationen mit integriertem Datenschutz ermöglicht werden. Zur Nutzung dieser Potentiale trägt der Landesbeauftragte mit dem Diskussionspapier „Rechtsgrundlagen im Datenschutz beim Einsatz von Künstlicher Intelligenz“ vom 13.11.2023 bei. Dabei steht die Frage im Mittelpunkt, wann und wie personenbezogene Daten für das Training und die Anwendung von Künstlicher Intelligenz verarbeitet werden dürfen. Das Diskussionspapier ist keine abschließende datenschutzrechtliche Bewertung beim Einsatz von KI, vielmehr eine Arbeitshilfe, um spezifische Einsatzszenarien innerhalb des rechtlichen Rahmens besser verorten zu können. Es soll verantwortlichen Stellen in Baden-Württemberg dabei helfen, sich mit den Rechtsgrundlagen auseinanderzusetzen, die das geltende Datenschutzrecht für den Einsatz von Systemen der sogenannten KI vorsieht.
Sie können das Diskussionspapier kommentieren. Kommentare sind möglich bis 1.2.2024, 24.00 Uhr. Sie werden danach von der Seite gelöscht. Ein Anspruch auf Aufnahme der Kommentare oder ihrer Inhalte im überarbeiteten Papier besteht nicht. Soweit dies erfolgt, werden im überarbeiteten Papier die entsprechenden Abschnitte mit Hinweis auf die im Online-Kommentar ersichtliche Autorenschaft gekennzeichnet.
Scheja & Partner Rechtsanwälte haben eine Stellungnahme zum Diskussionspapier abgegeben, welche hier abrufbar ist:
8 Kommentare
Einen Kommentar abschicken
Netiquette
Wir freuen uns über respektvolle und konstruktive Diskussionen sowie Kommentare. Bitte verzichten Sie auf vulgäre, menschenverachtende, diskriminierende oder beleidigende Beiträge. Ungeachtet der gesetzlichen Vorschriften im Übrigen, werden Beiträge, die die Netiquette verletzen, gegebenenfalls auch ohne Angabe von Gründen verborgen oder gelöscht. Sachfremde Beiträge, kommerzielle Beiträge, bloße Links ohne inhaltliche Bezüge, Beiträge mit schutzwürdigen personenbezogene Daten, insbesondere solchen Dritter, sowie durch uns nicht übersetzbare fremdsprachige Texte behalten wir uns vor zu löschen. Wir bitten um Verständnis dafür, dass wir nicht auf alle Beiträge antworten können. Bitte nutzen Sie für Anfragen an den LfDI BaWü die genannten Kontaktmöglichkeiten.
Datenschutzhinweis
Die Informationen zur Erhebung und weiteren Verarbeitung von personenbezogenen Daten nach Artikel 13 DS-GVO finden Sie hier.
Wir begrüßen Ihre Initiative, mit dem Diskussionspapier zu den Rechtsgrundlagen im Datenschutz beim Einsatz von Künstlicher Intelligenz (KI) den verantwortlichen Stellen eine Arbeitshilfe für ihren Umgang mit KI an die Hand zu geben. Wir sind davon überzeugt, dass Ihr Papier die verantwortlichen Stellen dabei unterstützen kann, die datenschutzrechtlichen Anforderungen bei Systemen Künstlicher Intelligenz (KI) zu bewerten und umzusetzen. Da sich aktuell noch wenige Datenschutzbehörden zu diesem Thema eingehender geäußert haben, sehen wir einen großen Mehrwert Ihrer Ausführungen für die Praxis. Das Diskussionspapier fasst unserer Ansicht nach einige wesentliche Themen gut zusammen und greift wichtige Rechtsfragen auf, die sich beim KI-Einsatz stellen.
Sie haben das Diskussionspapier zunächst auf „Erlaubnistatbestände, die beim Einsatz von KI-Systemen zum Tragen kommen können“ beschränkt und deutlich gemacht, dass intendiert (noch) keine Ausführungen zu Themen wie ua Transparenz und Diskriminierungsfreiheit, Betroffenenrechte (Art. 12-22 DS-GVO), Datensicherheit und Data Protection by Design (Art. 25, 32 DS-GVO), Datenschutz-Folgenabschätzung (Art. 35 DS-GVO) oder spezifische Herausforderungen durch Datentransfers außerhalb der Europäischen Union gemacht werden. Diese Themen sind aber aus unserer Sicht von besonderer Praxisrelevanz, vor allem dem Thema Privacy by Design kommt auch nach Einschätzung der Literatur ein besonders hoher Stellenwert für die Entwicklung von KI-Systemen in der Praxis zu. Hier liegen praktisch noch sehr große Herausforderungen vor den Anbietern und Anwendern von KI-Systemen, datenschutzrechtliche Grundsätze und Verfahren schon in der Entwicklung von KI-Systemen zu berücksichtigen. Wünschenswert ist, dass Sie auch einen Diskurs zu datenschutzrechtlichen Positionen initiieren und praktische Hilfestellungen möglichst frühzeitig geben, damit diese in der Entwicklung von KI-Systemen und bei der Konzeption ihres Einsatzes Berücksichtigung finden können.
Wir kommen Ihrem Angebot gerne nach, das Diskussionspapier zu einigen hervorhebungswürdigen Punkten zu kommentieren und Anregungen zu geben für eine etwaige Überarbeitung des Papiers. Und um folgenden Passus ergänzen: Die einzelnen diskussionswürdigen Punkte bereiten wir in einer detaillierten Stellungnahme auf, die wir Ihnen auf gesondertem Wege zukommen lassen.
Wir werden dabei zunächst auf die Feststellung des Sachverhalts als Grundlage für die datenschutzrechtliche Beurteilung und insbesondere die Ausführungen zur grundlegenden Frage des Vorliegens personenbezogener Daten Stellung nehmen. Dann werden wir auf einige Fragen in Bezug auf die datenschutzrechtlichen Verantwortlichkeiten eingehen und zum Kern der Rechtsgrundlagen für die Verarbeitung personenbezogener Daten Stellung nehmen.
Rechtsanwälte
Florian Reichert Kristina Radtke, LL.M. Hermann Eske (Scheja und Partner Rechtsanwälte mbB)
Interessantes Papier. Der LfDI BW ist eine Landesbehörde. Datenschutz ist in Deutschland mehrfach mit Aufsichtsbehörden geregelt, Bund, Länder, dann gibt es darüber noch die EU. Wenn der LfDI BW ein Papier schreibt, kann er auf das LDSG BW besonders hinweisen, das finde ich gut. Aleph Alpha sitzt in Heidelberg und forscht teilweise jetzt in Heilbronn, beides BW. So gesehen gibt es für die Datenschutzaufsicht BW genug Anknüpfung an Fragen der KI. Das Papier untersucht für mich im Wesentlichen die Gültigkeit von Artikeln der EU DSGVO für KI. Gilt dann diese Untersuchung der Aufsicht BW über KI und EU DSGVO nicht nur für BW, sondern für ganz Deutschland, für die EU? Mir ist beim Lesen der Unterschied zwischen dem Trainieren von KI mit Trainingsdaten und dem Anbieten einer KI-Dienstleistung nach Abschluss des Trainings zu wenig klar geworden.
Ich sehe dies etwas anders als im Papier angegeben, eher in Analogie zur Diskussion um Cookies. Letztlich gibt es einen (vermutlich schmaleren) Anwendungsbereich, der auf berechtigtes Interesse abgestützt werden kann, und einen überwiegenden, der nur mit Einwilligung (widerrufbar mit Wirkung für die Zukunft) begründet ist.
Berechtigtes Interesse wird immer dort einfacher anzuwenden sein, wo die Identifizierbarkeit einer Person nicht erforderlich ist und ggf. sogar technisch unterbunden wird (z.B. durch Verwerfen eingegebener Namen).
Meiner Ansicht nach muss KI sowohl von der Entwicklung als auch der Anwendung an datenschutzkonform machbar sein. Die Rechtsgrundlage kann im Moment nur die Interessensabwägung sein. Ein Generalverdacht gegen alle Unternehmen die mit KI arbeiten, bringt nichts und ist nicht lösungsorientiert. Die Interessensabwägung hat den gesamten Prozess zu betrachten. Warum wird die Zertifizierung nicht endlich weiterbetrieben, dies würde hier schon weiterhelfen.
Im Diskussionspapier des LfDI BW, kommt mir das Thema „löschen“ Art. 17 DSGVO etwas kurz. Insbesondere der Aspekt das personenbezogene Daten im KI-Modell selbst enthalten sind ist m.E. eine Herausforderung (auch technische). Der Verweis auf „Unlearning“ (Bourtoule, Lucas et al., Machine Unlearning) als mögliche technische Maßnahme lässt offen, ob dieses Verfahren im Sinne der DSGVO geeignet ist.
Wenn man etwas über das Verhalten von Laborratten in Erfahrung bringen will, reicht etwas Zuckerwasser als Belohnung. Wenn man etwas über das Verhalten von Menschen in Erfahrung bringen will, reicht es aus, wenn man ihnen die kostenlose Nutzung einer App oder einer KI als Belohnung anbietet. Ist ja auch deutlich intelligenter und weniger suspekt als sich diese Informationen über repressive Überwachungsinstrumente nach dem Muster totalitärer Staaten zu verschaffen.
„Berlin Commissioner for Data Protection and Freedom of Information Meike Kamp said the mounting decisions against targeted advertising in the GDPR contexts of legal basis of a contract, legitimate interest and consent are creating „very, very strong doubts“ that companies can arrive at lawful practices with their „very intensive profiling of behavioral data.““ (quote from iapp.org) – if it is not possible to consent in advertisement, what legal basis could possibly exist to use big data algorithms (AI is nothing more than this, just a fancier name) which are much more intrusive and an enigma even to those who designed them?
Die Rechtsgrundlagen sind erschöpfend in Art. 6 Abs. 1 aufgelistet (std. Rspr. EuGH, zuletzt Urt. v. 4.7.23, Rn. 90). Bei der Beurteilung der Rechtmäßigkeit sind auch Datenverarbeitungen der Vergangenheit einzubeziehen, sofern deren Informationsgehalt weiterhin vorhanden ist und Wirkungen auf die Betroffenen zeitigt. Andernfalls würde dem Risiko der Informationspermanenz nicht Rechnung getragen, aus dem vor allem Einschränkungen der Selbstbestimmung(sfähigkeit) entstehen (siehe Voodoo-Scores der Schufa, die nach einem Jahr alle Infos löscht und dann behauptet, es sei nichts vorhanden, obwohl die Effekte ihres Tuns noch nachwirken).
Die Einwilligung gem. lit. a scheidet für bereits erfolgte Datenverarbeitungen aus. Zwar kann eine Einwilligung auch rückwirkend Datenverarbeitungen legitimieren. Allerdings ist dies sowohl nicht praktikabel weil keine Kontaktdaten der Betroffenen vorhanden sind, als auch weil es die theoretische Möglichkeit einer Verweigerung und eines jederzeitigen Widerrufs geben muss – diese sind in den LLMs etwa von Microsoft oder Meta schlicht nicht vorgesehen. Dies ist fürderhin ein Verstoß gegen Art. 25 DSGVO.
Ein Vertrag i.S.v. lit. b scheidet ebenfalls aus, nicht nur weil der EuGH (aaO) ausdrücklich eine enge Auslegung verfolgt, sondern weil es keine Verträge gibt. Das wirft das o.g. Problem der bereits erfolgten Datenverarbeitungen auf und insb. unter amerikanischem Recht einen unzulässigen Eingriff in das Property Right des 4th amendments.
Bleibt letztlich nur eine Abwägung der berechtigten Interessen als alleinige denkbare Rechtsgrundlage. Diese muss dokumentiert und gem. Art. 12 ff. transparent allen Betroffenen zur Verfügung gestellt werden. Das erfolgt bislang nirgends. Damit muss auch die sowohl vom EuGH als auch von den ErwG hervorgehobene „vernünftige Erwartung“ der Betroffenen als schlicht nicht vorhanden eingestuft werden. Es rechnet niemand damit (zu Recht!), dass alle Dokumente, Mails oder Chats durch ein IT Programm seines Arbeitgebers ausgewertet und zu einem „semantischen Index“, der einen als Mensch – nicht nur als Arbeitnehmer (!) – unverkennbar identifiziert, verwurstet werden. Und es rechnet auch niemand damit, dass alle Bilder, die ggf. in irgendwelchen Online-Archiven von Dritten hochgeladen werden, dazu genutzt werden, biometrische Muster in den Bevölkerungsgruppen zu identifizieren und auf der Basis Scores zu bilden. Damit handelt es sich letztlich um entweder bewusst heimliche Verarbeitungen von Daten, oder zumindest um grob fahrlässig unbekannt belassene. An solchen heimlichen oder grob fahrlässig intransparent durchgeführten Datenverarbeitungen kann kein *legitimes* Interesse bestehen. Legitim setzt zuförderst nämlich eine Akzeptanz des Interesses durch die Rechtsordnung voraus (vgl. Kamlah, in: Plath, Art. 6, mit diesem Argument) und unsere Rechtsordnung hält heimliche Datenverarbeitungen zu mehr als dubiosen, aber jedenfalls sehr einseitig (kommerziell) förderlichen Zwecken, nicht für legitim.
Nur hilfsweise sei erwähnt, dass neben der basalen Frage nach „berechtigten“ Interessen und Intransparenz, auch die restlichen Normen der DSGVO nicht außer Acht gelassen werden dürfen: bieten Midjourney oder Open AI irgendwelche AVVs (mit den umfangreichen Konkretisierungen des Art. 28 (3)/JCAs (mit der Pflicht „das Wesentliche“ der Vereinbarung offenzulegen) an? Auf welcher Basis benutzen dann europäische Unternehmen deren Services? Gibt es eine Dokumentation gem. Art. 30 Abs. 1 in der insb. Zwecke genannt sind? Wurde eine DSFA durchgeführt und – es kann nicht anders sein! – die zuständige Aufsicht gem. Art. 36 vorab konsultiert? Letzte rhetorische Frage: kann eine Datenverarbeitung i.S.v. Art. 6 Abs. 1 lit. f als „berechtigt“ angesehen werden, wenn sie sämtliche weiteren Normen der DSGVO ignoriert bzw. ganz bewusst verletzt?
Konsequent müssten die Aufsichtsbehörden ein Verbot gegen diese Art Anwendungen aussprechen (Art. 58 Abs. 2 lit. f), bis die o.g. Pflichtaufgaben erfüllt sind – und bei einigen auch die Feststellung treffen, dass sie schlicht und ergreifend unzulässig sind.
Es ist ein Skandal wie amerikanische Unternehmen (und TikTok) im Alleingang mit AI Auswertungen Europäer und Menschen allgemein zum ultimativen Objekt der Algorithmen degradieren und den Sargnagel in die informationelle Selbstbestimmung treiben. Und unsere Aufsichtsbehörden sehen zu, anstatt von den starken Mitteln Gebrauch zu machen, die ihnen ganz bewusst vom europäischen Gesetzgeber an die Hand gegeben wurden. Es ist unverständlich, wie oft der EuGH noch die weite Auslegung der DSGVO Normen unterstreichen muss, bis es auch in der letzten Behörde angekommen ist.