Im Rahmen der 36. Konferenz der Informationsfreiheitsbeauftragten in Deutschland am 16. Oktober 2018 in Ulm haben die unten genannten Informationsfreiheitsbeauftragten nachfolgendes Positionspapier beschlossen: 

  • die Bundesbeauftragte für den Datenschutz und die Informationsfreiheit,
  • die Berliner Beauftragte für Datenschutz und Informationsfreiheit,
  • die Landesbeauftragte für Datenschutz und Informationsfreiheit der Freien Hansestadt Bremen,
  • der Landesbeauftragte für den Datenschutz und die Informationsfreiheit Mecklenburg-Vorpommern,
  • der Landesbeauftragte für den Datenschutz und die Informationsfreiheit Rheinland-Pfalz,
  • der Landesbeauftragte für den Datenschutz und die Informationsfreiheit Sachsen-Anhalt,
  • die Landesbeauftragte für Datenschutz Schleswig-Holstein,
  • der Thüringer Landesbeauftragte für den Datenschutz und die Informationsfreiheit
  • und der Landesbeauftragte für den Datenschutz und die Informationsfreiheit Baden-Württemberg.

  

Transparenz der Verwaltung beim Einsatz von Algorithmen
für gelebten Grundrechtsschutz unabdingbar

Bereits heute werden Entscheidungen der öffentlichen Verwaltung durch automatisierte Datenverarbeitungsvorgänge unter Zuhilfenahme von Algorithmen und künstlicher Intelligenz (KI) nicht nur automatisiert vorbereitet, sondern teilweise sogar voll automatisiert getroffen.

Der Einsatz von Algorithmen und KI kann zwar Effizienzsteigerungen bewirken und Auswertungen großer Datenmengen erleichtern bzw. überhaupt erst ermöglichen. Die Verwaltung trägt jedoch eine hohe Verantwortung, den Einsatz von Algorithmen und KI-Verfahren insbesondere im Zusammenhang mit behördlicher Entscheidungsfindung rechtmäßig zu gestalten. Sie ist den Grundwerten unserer Verfassung in besonderer Weise verpflichtet. Nur wenn ihr Handeln unzweifelhaft unserer Rechtsordnung entspricht, wird sie das Vertrauen der Bürgerinnen und Bürger erhalten. Dies ist für das Funktionieren unseres Staates existentiell. Elementar sind in diesem Zusammenhang die Beachtung der Menschenwürde und des Diskriminierungsverbots. Vor diesem Hintergrund stellt es ein großes Problem dar, dass Algorithmen und KI derzeit meist völlig intransparent funktionieren. Mit welchen Kriterien und Wertvorstellungen sie „gefüttert“ werden und inwieweit die erzielten Ergebnisse dem Grundsatz der Gesetzmäßigkeit der Verwaltung entsprechen, ist für die Betroffenen in aller Regel nicht nachzuvollziehen. Die eingesetzten Algorithmen und KI-Verfahren müssen daher transparent gemacht werden, damit Bürgerinnen und Bürger, aber auch die Verwaltung selbst das Zustandekommen der Entscheidungen nachvollziehen können.

Neben automatisierten Entscheidungen, die Bürgerinnen und Bürger unmittelbar betreffen, müssen auch Entscheidungen der Verwaltung ohne Bezug zu konkreten Personen, etwa bei der Planung von Verkehrswegen oder bei fiskalischem Handeln, nachvollziehbar sein.

Je höher das Risiko und je einschneidender die möglicherweise nachteiligen Auswirkungen für die betroffenen Menschen sein können, desto strenger muss geprüft werden, ob Algorithmen oder KI-Verfahren überhaupt grundrechtskonform eingesetzt werden können, ob die Verfahren sich ordnungsgemäß durchführen lassen und welche Folgen entstehen können. Unabdingbar für eine solche Folgenabschätzung ist eine ausreichende Transparenz über die Algorithmen und Verfahren der künstlichen Intelligenz. Zudem müssen die errechneten Ergebnisse vorhersehbar und nachvollziehbar sein; gleichartige Eingaben müssen stets zu gleichartigen Ausgaben führen.

Nach den Grundsätzen der Informationsfreiheit und der Verwaltungstransparenz müssen die für die Verwaltung essentiellen Informationen über die von ihr eingesetzten Algorithmen sowie KI-Verfahren auch der Öffentlichkeit zur Verfügung gestellt werden.

Die unterstützenden Informationsfreiheitsbeauftragten fordern daher den Bundes- sowie die Landesgesetzgeber auf, öffentliche Stellen noch konsequenter als bislang zu einem transparenten, verantwortungsvollen Einsatz von Algorithmen und KI-Verfahren zu verpflichten. Es bietet sich an, entsprechende Transparenzvorschriften in den jeweiligen Informationsfreiheits- bzw. Transparenzgesetzen oder in den einschlägigen Fachgesetzen zu verankern. Ausnahmen sollten dabei auf ein Minimum beschränkt werden.

Im Einzelnen sind daher dringend folgenden Anforderungen umzusetzen:

  • Öffentliche Stellen müssen vor dem Einsatz von Algorithmen und KI-Verfahren prüfen, inwieweit dieser Einsatz überhaupt grundrechtskonform möglich ist. Bestehen nach einer sorgfältigen Prüfung Zweifel, beispielsweise wenn ausreichende Nachvollziehbarkeit, Überprüfbarkeit und Beherrschbarkeit nicht gegeben sind, muss auf den Einsatz verzichtet werden.
  • Öffentliche Stellen müssen für ausreichende Transparenz über die eingesetzten Algorithmen sorgen. Für einen beherrschbaren Einsatz der Technik müssen sie über aussagekräftige, umfassende und allgemein verständliche Informationen bezüglich der eigenen Datenverarbeitungen verfügen. Dazu gehören vor allem
    • die Datenkategorien der Ein- und Ausgabedaten des Verfahrens,
    • die darin enthaltene Logik, insbesondere die verwendeten Berechnungsformeln einschließlich der Gewichtung der Eingabedaten, Informationen über das zugrundeliegende Fachwissen und die individuelle Konfiguration durch die Anwendenden und
    • die Tragweite der darauf basierenden Entscheidungen sowie die möglichen Auswirkungen der Verfahren.
      Soweit dies rechtlich möglich ist, sollten diese Informationen veröffentlicht werden.
  • Um der Verwaltung die Erfüllung dieser Pflichten zu ermöglichen, müssen die Transparenzanforderungen schon bei der Programmierung beachtet werden („Transparency by Design“). Die berechneten Ausgabedaten müssen jeweils um die Information ergänzt werden, welche Eingabedaten oder Bewertungen besonders relevant für das Ergebnis waren. Insbesondere bei selbstlernenden Systemen muss eine Unterstützung durch entsprechende Auswertungswerkzeuge vorgesehen sein.
  • Dokumentation und Protokollierung der Abläufe sowie wesentlicher Parameter sind unerlässlich, um die Sicherheit und Vertrauenswürdigkeit des Verfahrens zu schützen und etwaige Manipulationen zuverlässig erkennen zu können. Der Einsatz muss durch geeignete technische und organisatorische Maßnahmen manipulationssicher gestaltet und die getroffenen Maßnahmen müssen einer regelmäßigen Evaluierung und Qualitätskontrolle unterzogen werden. Um eine umfassende Überprüfbarkeit zu gewährleisten, sollten den jeweiligen öffentlichen Stellen auch der Quelltext und ggf. andere relevante Informationen über die Algorithmen bzw. KI-Verfahren zur Verfügung gestellt werden und diese möglichst veröffentlicht werden.
  • Die öffentlichen Stellen müssen ferner die jeweils erforderlichen risikoadäquaten Sicherheitsmaßnahmen treffen. Abhängig vom konkreten Anwendungsfall können hierzu insbesondere auch manuelle Kontrollen, einfache Widerspruchsmöglichkeiten oder Rückabwicklungen von Entscheidungen gehören.
  • Die Verarbeitung darf unter keinen Umständen eine diskriminierende Wirkung entfalten. Vor diesem Hintergrund sind hohe Anforderungen an Auswahl und Entwicklung von Algorithmen und KI-Verfahren zu stellen, beispielsweise bei der Auswahl von Trainingsdaten für selbstlernende Systeme oder für in solchen Systemen eingesetzte Bewertungsfunktionen.
  • Jedenfalls beim Vorliegen von hohen Risiken für Bürgerinnen und Bürger muss vor der Entscheidung über einen Einsatz von Algorithmen und KI-Verfahren eine Folgenabschätzung durchgeführt werden. Bei wesentlichen Veränderungen, die insbesondere bei selbstlernenden Systemen kontinuierlich erfolgen, muss diese Folgenabschätzung regelmäßig erneut durchgeführt werden. Bei besonders sensiblen Anwendungsbereichen sollte die Zulassung der Algorithmen und KI-Verfahren zudem erst nach Überprüfung und Abnahme durch eine Art „Algorithmen-TÜV“ möglich sein.

Sowohl der Gesetzgeber als auch die öffentlichen Stellen müssen vor dem Hintergrund der Grundrechtsbindung der Verwaltung dafür Sorge tragen, dass diese Maßstäbe für den öffentlichen Bereich verbindlich festgelegt und umgesetzt werden. Darüber hinaus ist der Gesetzgeber dazu angehalten, entsprechende Vorgaben auch für die Privatwirtschaft zu normieren.