Deutscher Bundestag
19. Wahlperiode
Drucksache
19/
23700
28.10.2020
Unterrichtung
der Enquete-Kommission Künstliche Intelligenz –
Gesellschaftliche Verantwortung und wirtschaftliche,
soziale und ökologische Potenziale
Bericht der Enquete-Kommission Künstliche Intelligenz –
Gesellschaftliche Verantwortung und wirtschaftliche,
soziale und ökologische Potenziale
Eingesetzt durch Beschluss des Deutschen Bundestages vom 26. Juni 2018 (Bundestagsdrucksache 19/2978).
Vorabfassung
wird
durch
die
endgültige
Fassung
ersetzt.

Inhaltsverzeichnis
A.
Kurzfassung des Berichts ........................................................................................................... 25
Einleitung ..................................................................................................................................................... 25
Überblick zu den Projektgruppen und dem Mantelbericht .................................................................... 26
Zusammenfassung und Handlungsempfehlungen (Auswahl) ................................................................. 28
1
Daten ............................................................................................................................................ 30
2
Forschung .................................................................................................................................... 31
3
Nachhaltigkeit durch KI und nachhaltige KI ........................................................................... 32
4
Wirtschaft und Arbeit ................................................................................................................. 33
5
Kompetenzen, Bildung, Mündigkeit .......................................................................................... 35
6
Mensch und Gesellschaft ............................................................................................................ 36
7
Regulierung und Staat ................................................................................................................ 38
B.
Allgemeiner Teil: Auftrag und Arbeitsweise ............................................................................ 40
1
Einsetzung und Konstituierung der Enquete-Kommission ..................................................... 40
2
Zusammensetzung der Kommission .......................................................................................... 41
3
Organisatorische und verwaltungsmäßige Begleitung der Kommissionsarbeit .................... 41
4
Arbeitsauftrag der Enquete-Kommission ................................................................................. 41
5
Arbeitsweise der Enquete-Kommission .................................................................................... 42
Struktur der Arbeit ........................................................................................................................ 42
Textarbeit in Projektgruppen und weiteren Arbeitsgruppen ......................................................... 42
Einbeziehung der Öffentlichkeit und Pressearbeit ........................................................................ 44
6
Kontext der Arbeit der Enquete-Kommission .......................................................................... 46
C.
Besonderer
Teil:
Bestandsaufnahme,
Analyse,
Entwicklungsperspektiven
und
Handlungsempfehlungen ............................................................................................................ 48
I.
Mantelbericht: Projektgruppenübergreifende Themen .......................................................... 48
1
Begriffsklärung Künstliche Intelligenz ..................................................................................... 48
KI-Systeme und KI-Arten ............................................................................................................. 48
Training von lernenden KI-Systemen ........................................................................................... 49
Arten des Trainings und Trainingsdaten ....................................................................................... 49
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 2 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Einsatz und Qualität von KI-Systemen ......................................................................................... 50
2
KI und Daten ............................................................................................................................... 50
Definitionen .................................................................................................................................. 51
Qualität von Daten ........................................................................................................................ 51
Arten von Daten ............................................................................................................................ 52
Zugang zu Daten ........................................................................................................................... 53
Personenbezogene Daten .............................................................................................................. 53
Politischer Handlungsrahmen bezüglich KI und Daten ................................................................ 55
3
KI und Umgang mit Bias/Diskriminierung............................................................................... 57
Begriffsklärung Bias ..................................................................................................................... 57
Diskriminierung durch Bias .......................................................................................................... 58
Erkennung von Diskriminierung ................................................................................................... 58
Vermeidung von Diskriminierung ................................................................................................ 59
Handlungsempfehlungen ............................................................................................................... 60
4
KI und Umgang mit Risiko ........................................................................................................ 60
Begriffsklärung Risiko .................................................................................................................. 60
Transparenz, Nachvollziehbarkeit und Erklärbarkeit .................................................................... 61
Sektorspezifisches Risikomanagement ......................................................................................... 62
KI-spezifisches Risikomanagement .............................................................................................. 63
Handlungsempfehlungen ............................................................................................................... 64
5
KI und Recht ............................................................................................................................... 65
Allgemeine Einführung zum Rechtsrahmen ................................................................................. 65
Datenschutzrecht ........................................................................................................................... 65
Urheberrecht .................................................................................................................................. 69
Wettbewerbsrecht .......................................................................................................................... 70
Haftungsrecht ................................................................................................................................ 72
5.5.1
E-Person ........................................................................................................................................ 73
5.5.2
Zurechnung der Haftung im Rahmen der Verschuldenshaftung ................................................... 73
5.5.3
Mögliche Ausweitung der Gefährdungshaftung ........................................................................... 74
5.5.4
Mögliche Lücken in der Produkthaftung ...................................................................................... 74
5.5.5
Handlungsempfehlungen ............................................................................................................... 75
Deutscher Bundestag – 19. Wahlperiode
– 3 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Einsatz von KI in der öffentlichen Verwaltung ............................................................................. 76
Handlungsempfehlungen ............................................................................................................... 77
6
Ethische Perspektiven auf KI ..................................................................................................... 79
Ziele und Zwecke einer KI-Ethik .................................................................................................. 79
Ethische Perspektiven auf KI (Prinzipien, Werte) ........................................................................ 80
6.2.1
Autonomie (Selbstbestimmung des Menschen als Handelnder, Entscheidungsfreiheit, Nicht-
Manipulation) ................................................................................................................................ 82
6.2.2
Menschsein (Mensch-Maschine-Interaktion, Selbstverständnis) .................................................. 83
6.2.3
Vertrauen (Zuversicht, Optimismus, Kritik, Zusammenhalt) ....................................................... 83
6.2.4
Gemeinwohl (Wohlstandsförderung, Benefits, Interessen) ........................................................... 83
6.2.5
Verantwortung (Gutes tun, Akteure, Zusammenarbeit) ................................................................ 84
6.2.6
Transparenz (Nachvollziehbarkeit, Erklärbarkeit, Offenheit) ....................................................... 84
6.2.7
Gerechtigkeit (Partizipation/Teilhabe, Verteilung, Leistung) ....................................................... 85
6.2.8
Diskriminierungsfreiheit (Gleichberechtigung, Fairness) ............................................................. 85
Ethik und KI – Wirksamkeit von Ethik und Dialog ...................................................................... 85
7
KI und Gesellschaft ..................................................................................................................... 86
Gesellschaftlicher Reflexionsbedarf in Bezug auf die Wirkung von KI-Systemen ...................... 87
Auswirkungen von KI-Systemen auf die Gesellschaft .................................................................. 88
Entwicklung und Einsatz von KI-Systemen im Sinne von Nachhaltigkeit und Wohlstand .......... 91
Handlungsempfehlungen ............................................................................................................... 92
8
KI und ökologische Nachhaltigkeit ............................................................................................ 93
Definition, Abgrenzung, Forschungsstand .................................................................................... 94
Energie- und Ressourcenverbrauch ............................................................................................... 95
Potenziale von KI für das Vorantreiben der Energiewende .......................................................... 95
8.3.1
KI kann die Akzeptanz der Energiewende in der Bevölkerung stärken ........................................ 96
8.3.2
KI kann helfen, Erneuerbare Energien besser in das Energiesystem zu integrieren ..................... 96
8.3.3
KI kann helfen, Energiemärkte effizienter zu machen und damit Kosten zu reduzieren .............. 96
KI in der Klimawissenschaft ......................................................................................................... 97
Einsatz von KI-Anwendungen im Naturschutz und im Umwelt-Monitoring ............................... 98
Fazit ............................................................................................................................................... 99
Handlungsempfehlungen............................................................................................................... 99
9
KI und Forschung ..................................................................................................................... 100
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 4 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Einleitung und Überblick ............................................................................................................ 100
Leitlinien ..................................................................................................................................... 101
9.2.1
Leitlinie 1: Zugrundeliegende Werte .......................................................................................... 101
9.2.2
Leitlinie 2: Förderung von Leuchtturm-Institutionen in der Forschung ...................................... 102
9.2.3
Leitlinie 3: Förderung der Forschung in der Breite ..................................................................... 102
9.2.4
Leitlinie 4: Beziehung Wissenschaft – Wirtschaft – Zivilgesellschaft ........................................ 102
Strategische Ziele ........................................................................................................................ 102
SWOT-Analyse der KI-Forschung in Deutschland ..................................................................... 103
9.4.1
Welche Stärken hat die KI-Forschung in Deutschland?.............................................................. 104
9.4.2
Welche Probleme hat die KI-Forschung in Deutschland? .......................................................... 104
9.4.3
Welche Potenziale können erschlossen werden? ........................................................................ 105
9.4.4
Welche Risiken bestehen? ........................................................................................................... 106
Zentrale Handlungsempfehlungen für den Staat ......................................................................... 106
Zukunftsthemen .......................................................................................................................... 108
10
KI und SARS-CoV-2 ................................................................................................................. 109
Potenziale und Anwendungsbeispiele von KI zur Eindämmung und Beherrschung von Pandemien
(insbesondere der Covid-19-Pandemie) ...................................................................................... 110
Notwendige Entwicklungen in der KI sowie strukturelle Verbesserungen, um auf zukünftigen
Pandemien besser vorbereitet zu sein .......................................................................................... 113
Chance in der Krise für stärkere Translation und höhere Akzeptanz von KI .............................. 115
Fazit ............................................................................................................................................. 116
II.
Künstliche Intelligenz und Wirtschaft (Projektgruppe 1) ..................................................... 117
1
Kurzfassung des Projektgruppenberichts............................................................................... 117
2
Vorbemerkungen....................................................................................................................... 121
3
Einführung: Anwendungsfelder und Potenziale von KI in der Wirtschaft ......................... 124
Grundlagen und Sachstandsklärung: KI hat großes Potenzial, ist aber kein Selbstläufer ........... 124
KI in einführenden Szenarien ...................................................................................................... 129
Zielstellungen: Deutschland im Jahr 2030 – eine Vision ............................................................ 132
3.3.1
Angestrebte Gesellschafts- und Politikziele: Die Wirtschaft setzt KI unter Einhaltung ethisch
vereinbarter Normen ein ............................................................................................................. 132
3.3.2
Angestrebte Forschungsziele: KI-Forschung ist in Unternehmen etabliert ................................. 134
3.3.3
Angestrebte Wirtschaftsziele: „KI made in Germany“ als internationales Gütesiegel ............... 135
4
Thematischer Schwerpunkt ..................................................................................................... 138
Deutscher Bundestag – 19. Wahlperiode
– 5 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Status quo von KI im Bereich der Wirtschaft ............................................................................. 138
4.1.1
Stand der Gesellschaft: Akzeptanz und Erwartungen ................................................................. 138
4.1.2
Stand der Forschung .................................................................................................................... 141
4.1.2.1
Die Herausforderungen einer holistischen KI-Forschung und Entwicklung ............................... 141
4.1.2.2
Diversität als Stärke? Die deutsche Akteurslandschaft in Forschung und Entwicklung ............. 142
4.1.2.3
Bestehende Ansätze zur Förderung von KI in Forschung und Entwicklung .............................. 143
4.1.3
Stand des Marktes ....................................................................................................................... 144
4.1.3.1
Akteure im Markt: Start-ups, KMU und Konzerne ..................................................................... 146
4.1.3.1.1 Themenfeld Start-ups .................................................................................................................. 146
4.1.3.1.2 Themenfeld Mittelstand .............................................................................................................. 148
4.1.3.1.3 Themenfeld Konzerne: Konzerne in der KI-Transformation ...................................................... 151
4.1.3.2
Branchen ..................................................................................................................................... 152
4.1.3.2.1 Themenfeld „Industrie und Produktion“: Daten als Produktkomponente in der produzierenden
Industrie ...................................................................................................................................... 152
4.1.3.2.2 Themenfeld „Handel“ ................................................................................................................. 153
4.1.3.2.3 Themenfeld „Finanzmarkt und Versicherungen“ ........................................................................ 155
4.1.3.2.4 Themenfeld „Agrarökonomie und Landwirtschaft“ .................................................................... 157
4.1.4
Hardware / Infrastruktur .............................................................................................................. 158
4.1.5
Ökologie ...................................................................................................................................... 160
4.1.6
Stand der Administration/Politik – rechtliche Fragen ................................................................. 162
4.1.7
Zugang zu Daten für KI-Anwendungen ...................................................................................... 167
SWOT-Analyse ........................................................................................................................... 169
5
Handlungsempfehlungen und Perspektiven ........................................................................... 172
Wachstum, Wertschöpfung und Nachhaltigkeit mit und durch KI ............................................. 172
5.1.1
„KI made in Germany“ und der europäische Weg ...................................................................... 173
5.1.2
Unternehmerischer Mut und Transferförderung ......................................................................... 175
5.1.3
Technologische Souveränität ...................................................................................................... 175
5.1.4
Nachhaltigkeit ............................................................................................................................. 177
Unterstützung der KI-Akteure ..................................................................................................... 178
5.2.1
Innovation und Start-ups: Start-up-Ökosysteme, Start-up-Förderungen ..................................... 178
5.2.2
KMU ........................................................................................................................................... 180
5.2.3
Konzerne im Spannungsfeld zwischen etablierten und neuen Geschäftsmodellen ..................... 181
Erkenntnisse zu Branchen ........................................................................................................... 182
5.3.1
Industrie und Produktion ............................................................................................................. 182
5.3.2
Handel ......................................................................................................................................... 183
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 6 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

5.3.3
Finanzmarkt und Versicherungen ............................................................................................... 183
5.3.4
Landwirtschaft ............................................................................................................................ 184
Handlungsempfehlungen zu Daten und Plattformen ................................................................... 184
Fachkräfte .................................................................................................................................... 187
Rechtsentwicklung und Politik.................................................................................................... 187
KI-Forschung .............................................................................................................................. 188
III.
Künstliche Intelligenz und Staat (Projektgruppe 2) .............................................................. 190
Allgemeiner Teil ........................................................................................................................................ 190
1
Kurzfassung des Projektgruppenberichtes ............................................................................. 190
2
Vorbemerkungen (AG-unabhängig) ....................................................................................... 195
3
Handlungsempfehlungen .......................................................................................................... 198
Auswirkungen von KI-Empfehlungen auf die Entscheidungsautonomie untersuchen ............... 198
Soziale Innovationen fördern ...................................................................................................... 198
Einsatzgebiete für KI systematisch identifizieren ....................................................................... 198
Standardprozesse für Beschaffung, Einkauf, Implementierung und Betrieb etablieren .............. 198
Kompetenzen aufbauen ............................................................................................................... 198
Transparenz schaffen und Risiken systematisch klassifizieren ................................................... 199
KI-gestützte Entscheidungen regelmäßig auf Diskriminierungsfreiheit überprüfen ................... 199
Datenkonzepte erarbeiten und umsetzen ..................................................................................... 199
Partizipation fördern.................................................................................................................... 200
AG-Berichte ............................................................................................................................................... 200
1
AG 1: KI in der Verwaltung und internationale Vorbilder .................................................. 200
Einführung .................................................................................................................................. 200
Thematischer Scherpunkt ............................................................................................................ 203
Handlungsempfehlungen und Operationalisierung ..................................................................... 215
2
AG 2: Smart City und Open Data ........................................................................................... 215
Einführung .................................................................................................................................. 215
Thematischer Schwerpunkt ......................................................................................................... 219
Handlungsempfehlungen und Operationalisierung ..................................................................... 223
3
AG 3: Innere Sicherheit, Äußere Sicherheit, IT-Sicherheit .................................................. 224
Innere Sicherheit ......................................................................................................................... 224
Deutscher Bundestag – 19. Wahlperiode
– 7 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

3.1.1
Einführung .................................................................................................................................. 224
3.1.2
Thematischer Schwerpunkt ......................................................................................................... 225
3.1.3
Handlungsempfehlungen und Perspektiven ................................................................................ 231
Äußere Sicherheit ........................................................................................................................ 232
3.2.1
Einführung .................................................................................................................................. 232
3.2.2
Thematischer Schwerpunkt ......................................................................................................... 232
3.2.3
Handlungsempfehlungen und Operationalisierung ..................................................................... 236
IT-Sicherheit ............................................................................................................................... 238
3.3.1
Einführung .................................................................................................................................. 238
3.3.2
Thematischer Schwerpunkt ......................................................................................................... 239
3.3.3
Handlungsempfehlungen und Perspektiven ................................................................................ 240
IV.
Künstliche Intelligenz und Gesundheit (Projektgruppe 3) .................................................... 241
1
Zusammenfassung ..................................................................................................................... 241
Potenziale spezifischer Anwendungen von KI und ihre Risikoabschätzung im Gesundheitsbereich
..................................................................................................................................................... 242
Stärken und Schwächen, Chancen und Risiken .......................................................................... 243
Handlungsfelder .......................................................................................................................... 244
1.3.1
Voraussetzungen
für
den
Einsatz
von
KI
im
Gesundheitsbereich:
Digitalisierung,
Datenverfügbarkeit und Aufbau von KI-Expertise in Gesundheitsberufen ................................ 244
1.3.2
Förderung des Forschungs- und Wirtschaftsstandorts zur souveränen Entwicklung von KI im
Gesundheitsbereich ..................................................................................................................... 245
1.3.3
Zulassung, Erstattung und Haftung im Zusammenhang mit neuen KI-Methoden ...................... 246
1.3.4
Intelligente Assistenzsysteme und Robotik in der Pflege ........................................................... 247
Zehn Handlungsempfehlungen für die Entwicklung und den Einsatz von KI im Gesundheitsbereich
..................................................................................................................................................... 248
2
Einführung: KI und Gesundheit .............................................................................................. 249
Was macht KI im Gesundheitswesen aus? .................................................................................. 249
Ziele, Themen und Leitfragen ..................................................................................................... 250
Ethische Fragen ........................................................................................................................... 251
3
Anwendungen von KI in Gesundheit und Pflege ................................................................... 253
KI-Anwendungen in der Medizin – Beispiele aus Diagnose und Therapie ................................ 253
3.1.1
Bilderkennung: KI-Verfahren in der Krebsdiagnose .................................................................. 253
3.1.2
Spracherkennung: Diagnose von Alzheimer durch automatisierte kognitive Tests .................... 255
3.1.3
Mustererkennung in medizinischen Daten zu Prävention, Diagnose und Monitoring ................ 255
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 8 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

KI-Anwendungen in der Pflege................................................................................................... 259
Weitere Anwendungsgebiete mit Gesundheitsbezug .................................................................. 261
SWOT-Analyse ........................................................................................................................... 262
4
Handlungsfelder ........................................................................................................................ 263
Voraussetzungen für KI im Gesundheitsbereich ......................................................................... 263
4.1.1
Digitalisierung und digitale Infrastruktur .................................................................................... 264
4.1.2
Datenschutz, Datenverfügbarkeit und Umgang mit Patientendaten ............................................ 265
4.1.3
Aus-, Weiter- und Fortbildung in Gesundheitsberufen ............................................................... 270
4.1.4
Handlungsempfehlungen ............................................................................................................. 270
Förderung des Forschungs- und Wirtschaftsstandorts – für eine souveräne Entwicklung von KI im
Gesundheitsbereich ..................................................................................................................... 272
4.2.1
KI in der medizinischen Forschung ............................................................................................ 272
4.2.2
Forschungsdaten – Verfügbarkeit, Qualität und offene Standards .............................................. 273
4.2.3
Forschungslandschaft, Förderstrukturen und Kooperationen ...................................................... 274
4.2.4
Wirtschaftsstandort, Transfer und Start-ups ................................................................................ 275
4.2.5
Handlungsempfehlungen ............................................................................................................. 276
Entwicklung, Marktzulassung, Erstattung und Haftung für KI-basierte Anwendungen im
Gesundheitsbereich ..................................................................................................................... 277
4.3.1
Entwicklung, Marktzulassung und Erstattung............................................................................. 277
4.3.2
Haftungsfragen ............................................................................................................................ 279
4.3.3
Handlungsempfehlungen ............................................................................................................. 280
KI in der Pflege sowie für Menschen mit Behinderung .............................................................. 281
4.4.1
Verortung, Potenziale und Risiken .............................................................................................. 281
4.4.2
Status quo von KI-Anwendungen in der Pflege .......................................................................... 283
4.4.3
Rahmenbedingungen für einen erfolgreichen Einsatz von KI in der Pflege ............................... 284
4.4.4
Handlungsempfehlungen ............................................................................................................. 286
5
Hintergrundinformationen zur Projektgruppe KI und Gesundheit .................................... 287
Expertise durch handelnde Akteure ............................................................................................ 287
Arbeitsstruktur der Gruppe ......................................................................................................... 287
Auftrag gemäß Einsetzungsbeschluss ......................................................................................... 288
V.
Künstliche Intelligenz und Arbeit (Projektgruppe 4) ............................................................ 289
1
Kurzfassung des Projektgruppenberichts............................................................................... 289
2
Vorbemerkungen....................................................................................................................... 297
Deutscher Bundestag – 19. Wahlperiode
– 9 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

3
Einführung ................................................................................................................................. 298
Grundlagen und Sachstandsklärung ............................................................................................ 298
Einführende Beispiele bzw. Anwendungsfälle (Use Cases) ....................................................... 300
3.2.1
Beispiele für KI-Anwendungen im betrieblichen Einsatz oder in der Erprobung....................... 300
3.2.1.1
Assistenz- und Serviceroboter ..................................................................................................... 300
3.2.1.2
Wissens- und Assistenzsysteme .................................................................................................. 302
3.2.1.3
Prozessoptimierung durch Predictive Analysis ........................................................................... 303
3.2.1.4
KI-basierte Chatbots.................................................................................................................... 303
3.2.1.5
Intelligente Sprachanalyse .......................................................................................................... 304
3.2.2
Beispiele für KI-Anwendungen in Schule und Hochschule ........................................................ 305
3.2.2.1
Lehrmittel mit intelligenter Sensorik und Data Analytics ........................................................... 306
3.2.2.2
Learning Analytics und Data Analytics im Lernmanagement .................................................... 306
3.2.2.3
Lernunterstützender Einsatz von KI-Systemen ........................................................................... 306
3.2.2.4
KI-Grundlagen und Robotik an Schulen ..................................................................................... 307
3.2.3
Beispiele für KI-Anwendungen in der Forschung ...................................................................... 307
3.2.3.1
Prognose bzw. Simulation ........................................................................................................... 308
3.2.3.2
Auswertung von Forschungsergebnissen bzw. Forschungsanalyse ............................................ 308
Deutschland 2030: Vision einer „freundlichen KI“ .................................................................... 308
3.3.1
Wie die Arbeitswelt von morgen aussehen könnte ..................................................................... 308
3.3.1.1
Leitvorstellungen......................................................................................................................... 308
3.3.1.2
Vision 2030 – mit KI arbeiten ..................................................................................................... 309
3.3.2
Wie die Bildung von morgen aussehen könnte ........................................................................... 311
3.3.3
Wie die Forschung von morgen aussehen könnte ....................................................................... 312
4
Technologieakzeptanz als Erfolgskriterium für den KI-Einsatz (Treiber und Bremser) .. 313
Treiber der Entwicklung ............................................................................................................. 313
Bremser der Entwicklung ............................................................................................................ 314
5
Status quo und Handlungsempfehlungen: KI und Arbeit, Bildung, Forschung ................. 315
KI in der Arbeitswelt ................................................................................................................... 315
5.1.1
Entwicklung des Arbeitsmarktes (Prognosen, Arbeitsmarktforschung) ..................................... 315
5.1.1.1
Folgen der Automatisierung für den Arbeitsmarkt ..................................................................... 315
5.1.1.2
Bislang wenig Forschung zu den Beschäftigungseffekten von KI .............................................. 316
5.1.1.3
Handlungsempfehlungen ............................................................................................................. 317
5.1.1.3.1 Die Auswirkungen von KI für den Arbeitsmarkt weiter erforschen ........................................... 317
5.1.1.3.2 Strukturwandel flankieren – politische Maßnahmen evaluieren und anpassen ........................... 318
5.1.2
(Qualitative) Auswirkungen von KI auf die Arbeitswelt ............................................................ 318
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 10 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

5.1.2.1
Strukturelle Änderungen der Arbeitswelt: Plattformarbeit ......................................................... 319
5.1.2.2
Mensch-Maschine-Interaktion .................................................................................................... 320
5.1.2.3
Neue Qualifikationsanforderungen ............................................................................................. 321
5.1.2.4
Arbeitsbedingungen .................................................................................................................... 322
5.1.2.5
Partizipation und Mitbestimmung ............................................................................................... 326
5.1.2.6
Handlungsempfehlungen ............................................................................................................. 328
5.1.2.6.1 Im Allgemeinen ........................................................................................................................... 328
5.1.2.6.2 Mensch-Maschine-Interaktion .................................................................................................... 329
5.1.2.6.3 Mitbestimmung modernisieren ................................................................................................... 330
5.1.3
Arbeitsorganisation und Arbeitsverwaltung ................................................................................ 331
5.1.3.1
Arbeitsorganisation ..................................................................................................................... 331
5.1.3.2
Einsatz von automatisierten Entscheidungssystemen und KI in der Personalverwaltung .......... 333
5.1.3.3
KI in der Arbeits- und Sozialverwaltung .................................................................................... 335
5.1.3.4
Weiterentwicklung der sozialen Sicherungssysteme .................................................................. 337
5.1.3.5
Handlungsempfehlungen ............................................................................................................. 338
5.1.3.5.1 Arbeitsorganisation ..................................................................................................................... 338
5.1.3.5.2 Einsatz von automatisierten Entscheidungssystemen und KI in der Personalverwaltung .......... 340
5.1.3.5.3 KI in der Arbeits- und Sozialverwaltung .................................................................................... 341
5.1.3.5.4 Weiterentwicklung der sozialen Sicherungssysteme .................................................................. 342
KI in der Bildung ........................................................................................................................ 342
5.2.1
Lernen über KI ............................................................................................................................ 343
5.2.2
Lernen mit KI .............................................................................................................................. 343
5.2.3
Umgang mit KI bzw. Learning Analytics ................................................................................... 345
5.2.4
Anforderungen an den Schulunterricht ....................................................................................... 346
5.2.5
Lehrkräftebildung ........................................................................................................................ 348
5.2.6
KI und Hochschule ...................................................................................................................... 349
5.2.7
KI in Aus- und Weiterbildung ..................................................................................................... 350
5.2.8
Handlungsempfehlungen ............................................................................................................. 351
5.2.8.1
Lehrkräftebildung ........................................................................................................................ 351
5.2.8.2
Aus- und Weiterbildung .............................................................................................................. 352
KI in der Forschung .................................................................................................................... 355
5.3.1
Disembodied und Embodied KI .................................................................................................. 355
5.3.1.1
Disembodied KI .......................................................................................................................... 355
5.3.1.2
Embodied KI ............................................................................................................................... 355
5.3.2
Formen der KI-Forschung ........................................................................................................... 356
5.3.3
Handlungsempfehlungen ............................................................................................................. 357
Deutscher Bundestag – 19. Wahlperiode
– 11 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Gestaltungsinstrumente und Gestaltungsakteure ......................................................................... 358
SWOT-Analyse ........................................................................................................................... 359
6
Appendix .................................................................................................................................... 362
Auflistung der in den Sitzungen angehörten Expertinnen und Experten .................................... 362
Auflistung der Mitglieder der Projektgruppe .............................................................................. 363
Aufgaben der Normsetzungsinstanzen in der Arbeitswelt .......................................................... 364
Aufgaben der Normsetzungsinstanzen in der Bildung ................................................................ 366
VI.
Künstliche Intelligenz und Mobilität (Projektgruppe 5) ....................................................... 367
1
Kurzfassung des Projektgruppenberichts............................................................................... 367
Kurzfassung ................................................................................................................................ 367
1.1.1
Themenübergreifende Handlungsempfehlungen der Projektgruppe ........................................... 367
1.1.2
Themenschwerpunkte ................................................................................................................. 369
Anmerkung zur Corona-Pandemie 2020 ..................................................................................... 371
2
Vorbemerkungen....................................................................................................................... 371
Expertise durch handelnde Akteure: ........................................................................................... 371
Vorgehensweise und Arbeitsstruktur .......................................................................................... 372
3
Einführung ................................................................................................................................. 373
4
Thematischer Schwerpunkt und Handlungsempfehlungen .................................................. 374
Zukunft der Mobilität .................................................................................................................. 374
4.1.1
Vision KI und Mobilität – Status quo ......................................................................................... 374
4.1.2
Anwendungsbeispiele, Trends und Ausblicke der einzelnen Themenfelder ............................... 376
4.1.3
Handlungsempfehlungen ............................................................................................................. 380
Intermodalität und Plattformen ................................................................................................... 382
4.2.1
Definitionen ................................................................................................................................ 382
4.2.2
Status quo .................................................................................................................................... 383
4.2.3
Mobilität im innerstädtischen Raum ........................................................................................... 385
4.2.4
Gemeinnützige KI-Lösungen ...................................................................................................... 385
4.2.5
Mobilität im ländlichen Raum..................................................................................................... 386
4.2.6
Plattformen: Tendenz zur Bildung von Monopolen und Oligopolen .......................................... 386
4.2.7
Handlungsempfehlungen ............................................................................................................. 387
Straßenverkehr ............................................................................................................................ 388
4.3.1
KI und Mobilität: Automobil und Straßenverkehr ...................................................................... 388
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 12 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

4.3.2
Begriffsbestimmungen ................................................................................................................ 388
4.3.3
Status quo .................................................................................................................................... 389
4.3.4
KI und autonome Automobile ..................................................................................................... 391
4.3.5
KI und Organisation der Straße ................................................................................................... 394
4.3.6
KI und Organisation der Mobilität .............................................................................................. 395
4.3.7
Die Erhöhung der Sicherheit und die ganzheitliche Betrachtung der Mobilität .......................... 396
4.3.8
Handlungsempfehlungen ............................................................................................................. 396
Schienenverkehr .......................................................................................................................... 398
4.4.1
Status quo und Politik ................................................................................................................. 398
4.4.2
Potenziale .................................................................................................................................... 400
4.4.3
Handlungsempfehlungen ............................................................................................................. 401
Luftverkehr .................................................................................................................................. 402
4.5.1
Status quo .................................................................................................................................... 402
4.5.2
Potenziale von KI in der Luftfahrt .............................................................................................. 403
4.5.3
Handlungsempfehlungen ............................................................................................................. 405
Schiffsverkehr ............................................................................................................................. 406
4.6.1
Status quo .................................................................................................................................... 406
4.6.2
Potenziale und Beispiele ............................................................................................................. 407
4.6.3
Handlungsempfehlungen ............................................................................................................. 408
Übergreifende Themen (Ökonomie und Wettbewerb, Stadtentwicklung) .................................. 409
4.7.1
Status quo .................................................................................................................................... 409
4.7.2
KI mit Blick auf Ökonomie und Wettbewerb ............................................................................. 413
4.7.3
KI und Stadtentwicklung ............................................................................................................. 414
4.7.4
Sicherheit bei KI-gestützter Mobilität: ........................................................................................ 415
4.7.5
Handlungsempfehlungen ............................................................................................................. 416
VII.
Künstliche Intelligenz und Medien (Projektgruppe 6) .......................................................... 417
1
Kurzfassung des Projektgruppenberichts............................................................................... 417
2
Vorbemerkungen....................................................................................................................... 422
3
Einführung ................................................................................................................................. 425
Grundlagen und Sachstandsklärung ............................................................................................ 425
3.1.1
Exemplarische Betrachtung des Zusammenhangs Medien und KI ............................................. 427
3.1.1.1
Journalismus ................................................................................................................................ 427
3.1.1.2
Moderation und Avatare ............................................................................................................. 427
Deutscher Bundestag – 19. Wahlperiode
– 13 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

3.1.1.3
Musikproduktion und -distribution ............................................................................................. 428
3.1.1.4
Film- und Serienproduktion ........................................................................................................ 429
3.1.1.5
Digitale Spiele ............................................................................................................................. 430
3.1.2
Neue Akteure: Social Media und Informationsintermediäre ....................................................... 431
Einführung in die technischen Grundlagen ................................................................................. 432
3.2.1
Sprachverarbeitung ..................................................................................................................... 432
3.2.2
System zur Inhaltsgenerierung .................................................................................................... 434
3.2.3
Personalisierte Empfehlungssysteme in den digitalen Medien ................................................... 435
3.2.4
Technische Grundlagen von Empfehlungssystemen ................................................................... 435
3.2.5
Monitoring-Systeme .................................................................................................................... 437
4
Hintergrund ............................................................................................................................... 438
Medienkonsum und Nutzungsverhalten ...................................................................................... 438
4.1.1
Mediennutzung ............................................................................................................................ 438
4.1.2
Die Mediennutzung in Deutschland ............................................................................................ 438
4.1.3
Nachrichtennutzung .................................................................................................................... 441
Medienmärke und KI .................................................................................................................. 442
4.2.1
Anbieter von Medieninhalten ...................................................................................................... 443
4.2.2
Medienkonzerne .......................................................................................................................... 446
4.2.3
Intermediäre: Plattformen und soziale Medien ........................................................................... 448
4.2.4
Exkurs: KI im medialen Marketing (Werbung) .......................................................................... 453
4.2.5
Marktwirtschaftliche Einordnung der KI-Relevanz in den Medien ............................................ 454
4.2.6
Handlungsempfehlungen ............................................................................................................. 456
Ziele und Aufgaben von Medienpolitik ...................................................................................... 456
5
Produktion ................................................................................................................................. 458
Analyse des Einsatzes von KI im klassischen Journalismus ....................................................... 458
5.1.1
Funktionen des Journalismus ...................................................................................................... 458
5.1.2
Qualität und Ethik des Journalismus ........................................................................................... 459
5.1.3
Herausforderungen durch die Digitalisierung ............................................................................. 460
Automated Writing, redaktionelle Qualitätskontrolle ................................................................. 460
5.2.1
Handlungsempfehlungen ............................................................................................................. 462
Deep Fake erkennen, Medienforensik ......................................................................................... 462
5.3.1
Definition, Funktionsweise und Anwendungsfelder ................................................................... 462
5.3.2
Statistische Häufigkeit von Deep Fakes ...................................................................................... 463
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 14 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

5.3.3
Methoden zur Erkennung von Deep Fakes ................................................................................. 464
5.3.4
Handlungsempfehlungen ............................................................................................................. 465
Datenzugang als Voraussetzung für Datenanalyse...................................................................... 466
5.4.1
Handlungsempfehlungen ............................................................................................................. 467
Datenanalyse: KI als Werkzeug für den Journalismus ................................................................ 468
6
Distribution ................................................................................................................................ 469
Problematische Aspekte von Empfehlungssystemen .................................................................. 470
6.1.1
Handlungsempfehlungen ............................................................................................................. 471
Personalisierung .......................................................................................................................... 471
6.2.1
Algorithmisch personalisierte Nachrichtenkanäle und Politisches Microtargeting ..................... 471
6.2.2
Handlungsempfehlungen ............................................................................................................. 474
6.2.3
Milieubildung: Filterblasen und Echokammern .......................................................................... 475
6.2.4
Handlungsempfehlungen ............................................................................................................. 477
Social Bots .................................................................................................................................. 478
6.3.1
Handlungsempfehlungen ............................................................................................................. 481
7
Regulierung ................................................................................................................................ 481
Internationale Regulierung .......................................................................................................... 482
7.1.1
Handlungsempfehlungen ............................................................................................................. 484
Nationale Regulierung ................................................................................................................ 484
7.2.1
Medienrecht (Medienstaatsvertrag) ............................................................................................. 484
7.2.1.1
Handlungsempfehlungen ............................................................................................................. 486
7.2.2
Wettbewerbsrecht ........................................................................................................................ 487
7.2.2.1
Handlungsempfehlungen ............................................................................................................. 488
Technische Möglichkeiten der Governance von KI-Systemen in der Produktion und Verteilung
von Medien durch Software (Governance by algorithms) .......................................................... 488
7.3.1
Algorithmische Governance von generativen KI-Systemen ....................................................... 488
7.3.2
Technische Möglichkeiten der Governance von ADM-Systemen .............................................. 489
7.3.2.1
Handlungsempfehlungen ............................................................................................................. 490
Uploadfilter ................................................................................................................................. 491
7.4.1
Filter bei der Umsetzung von Urheberrecht ................................................................................ 491
7.4.1.1
Handlungsempfehlungen ............................................................................................................. 492
7.4.2
Hassrede ...................................................................................................................................... 493
7.4.2.1
Das Netzwerkdurchsetzungsgesetz gegen Hassrede ................................................................... 493
7.4.2.2
Beispiel YouTube........................................................................................................................ 494
Deutscher Bundestag – 19. Wahlperiode
– 15 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

7.4.2.3
Beispiel Facebook ....................................................................................................................... 494
7.4.2.4
Beispiel Twitter ........................................................................................................................... 495
7.4.2.5
Technische Perspektive auf das automatische Auffinden ........................................................... 496
7.4.2.5.1 Handlungsempfehlungen ............................................................................................................. 496
7.4.3
Weitere Anwendungen ................................................................................................................ 497
7.4.3.1
Handlungsempfehlungen ............................................................................................................. 497
D.
Sondervoten zum Gesamtbericht ............................................................................................. 497
1
Sondervoten der CDU/CSU-Fraktion ..................................................................................... 497
Sondervotum zu Kapitel 1 der Kurzfassung des Berichts („Daten“) sowie Kapitel 5.7 des
Mantelberichts („KI und Recht – Handlungsempfehlungen“) des sachverständigen Mitglieds Dr.
Sebastian Wieczorek und der Abgeordneten Marc Biadacz, Hansjörg Durz, Ronja Kemmer, Jan
Metzler, Stefan Sauer, Prof. Dr. Claudia Schmidtke, Andreas Steier und Nadine Schön sowie der
sachverständigen Mitglieder Susanne Dehmel, Prof. Dr. Wolfgang Ecker, Prof. Dr. Alexander
Filipović, Prof. Dr. Antonio Krüger und Prof. Dr. Jörg Müller-Lietzkow .................................. 497
Sondervotum zu Kapitel 6 der Kurzfassung des Berichts („Mensch und Gesellschaft“) sowie
Kapitel 4.2.6 des Berichts der Projektgruppe 6 „KI und Medien“ („Medienmärkte und KI –
Handlungsempfehlungen“) der Abgeordneten Ronja Kemmer und der Abgeordneten Marc
Biadacz, Hansjörg Durz, Jan Metzler, Stefan Sauer, Andreas Steier, Prof. Dr. Claudia Schmidtke
und Nadine Schön sowie der sachverständigen Mitglieder Susanne Dehmel, Prof. Dr. Wolfgang
Ecker, Prof. Dr. Antonio Krüger und Dr. Sebastian Wieczorek ................................................. 500
Sondervotum zu Kapitel 9.4.1 des Mantelberichts („Welche Stärken hat die KI-Forschung in
Deutschland?“) des sachverständigen Mitglieds Dr. Sebastian Wieczorek und der Abgeordneten
Marc Biadacz, Hansjörg Durz und Prof. Dr. Claudia Schmidtke sowie der sachverständigen
Mitglieder Prof. Dr. Wolfgang Ecker und Prof. Dr. Alexander Filipović ................................... 501
Sondervotum zu Kapitel 1 des Berichts der Projektgruppe 2 „KI und Staat“ („Kurzfassung des
Projektgruppenberichtes“) der Abgeordneten Ronja Kemmer und der Abgeordneten Marc Biadacz,
Hansjörg Durz, Jan Metzler, Stefan Sauer, Prof. Dr. Claudia Schmidtke, Andreas Steier und Nadine
Schön
sowie
der sachverständigen Mitglieder Susanne Dehmel, Prof. Dr. Wolfgang Ecker, Prof.
Dr. Antonio Krüger, Prof. Dr. Jörg Müller-Lietzkow und Dr. Sebastian Wieczorek ................. 504
2
Sondervoten der SPD-Fraktion................................................................................................ 505
Sondervotum zu Kapitel 4 des Mantelberichts („KI und Umgang mit Risiko“) der Abgeordneten
Daniela Kolbe, Elvan Korkmaz-Emre, Falko Mohrs, René Röspel und Jessica Tatti sowie der
sachverständigen Mitglieder Dr. Florian Butollo, Prof. Dr.-Ing. Sami Haddadin, Jan Kuhlen, Lena-
Sophie Müller und Lothar Schröder ............................................................................................ 505
Sondervotum zu Kapitel 5.7 des Mantelberichts („KI und Recht – Handlungsempfehlungen“) der
Abgeordneten Elvan Korkmaz-Emre und des sachverständigen Mitglieds Jan Kuhlen, der
Abgeordneten Arno Klare, Daniela Kolbe, Falko Mohrs und René Röspel sowie der
sachverständigen Mitglieder Prof. Dr.-Ing. Sami Haddadin, Lena-Sophie Müller und Lothar
Schröder ...................................................................................................................................... 507
Sondervotum zum Kapitel C. III. „Künstliche Intelligenz und Staat (Projektgruppe 2)“ der
Abgeordneten Daniela Kolbe, Elvan Korkmaz-Emre, Falko Mohrs, René Röspel und Jessica Tatti
sowie der sachverständigen Mitglieder Prof. Dr.-Ing. Sami Haddadin, Jan Kuhlen, Lena-Sophie
Müller und Lothar Schröder ........................................................................................................ 507
3
Sondervoten der AfD-Fraktion ................................................................................................ 508
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 16 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Sondervotum zu Kapitel 3 des Mantelberichts („KI und Umgang mit Bias/Diskriminierung“) des
Abgeordneten Dr. Marc Jongen sowie der Abgeordneten Joana Cotar und Peter Felser ............ 508
Sondervotum zu Kapitel 6 des Mantelberichts („Ethische Perspektiven auf KI“) des Abgeordneten
Dr. Marc Jongen sowie der Abgeordneten Joana Cotar und Peter Felser ................................... 509
Sondervotum zu Kapitel 7 des Mantelberichts („KI und Gesellschaft“) des Abgeordneten Dr. Marc
Jongen sowie der Abgeordneten Joana Cotar und Peter Felser ................................................... 511
Sondervotum zu Kapitel 8 des Mantelberichts („KI und ökologische Nachhaltigkeit“) des
Abgeordneten Dr. Marc Jongen sowie der Abgeordneten Joana Cotar und Peter Felser ............ 511
Sondervotum zu Kapitel 9 des Mantelberichts („KI und Forschung“) des Abgeordneten Dr. Marc
Jongen sowie der Abgeordneten Joana Cotar und Peter Felser ................................................... 513
Sondervotum zu den Kapiteln 4.1.3.1.1 und 5.2.1 des Berichts der Projektgruppe 1 „KI und
Wirtschaft“ („Themenfeld Start-ups“ und „Innovation und Start-ups: Start-up-Ökosysteme, Start-
up-Förderungen“) der Abgeordneten Joana Cotar sowie der Abgeordneten Peter Felser und Dr.
Marc Jongen ................................................................................................................................ 515
Sondervotum zu Kapitel 2 der AG-Berichte der Projektgruppe 2 „KI und Staat“ („AG 2: Smart
City und Open Data“) des Abgeordneten Dr. Marc Jongen sowie der Abgeordneten Joana Cotar
und Peter Felser ........................................................................................................................... 518
Sondervotum zu Kapitel 3.1 der AG-Berichte der Projektgruppe 2 „KI und Staat“ („AG 3: Innere
Sicherheit, Äußere Sicherheit, IT-Sicherheit – Innere Sicherheit“) des Abgeordneten Peter Felser
sowie der Abgeordneten Joana Cotar und Dr. Marc Jongen ....................................................... 521
Sondervotum zu Kapitel 3.1 der AG-Berichte der Projektgruppe 2 „KI und Staat“ („AG 3: Innere
Sicherheit, Äußere Sicherheit, IT-Sicherheit – Innere Sicherheit“) des Abgeordneten Peter Felser
sowie der Abgeordneten Joana Cotar und Dr. Marc Jongen ....................................................... 523
Sondervotum zu den Kapiteln 3.1 und 3.2 der AG-Berichte der Projektgruppe 2 „KI und Staat“
(„AG 3: Innere Sicherheit, Äußere Sicherheit, IT-Sicherheit – Innere Sicherheit“ und „Äußere
Sicherheit“) des Abgeordneten Peter Felser sowie der Abgeordneten Joana Cotar und Dr. Marc
Jongen ......................................................................................................................................... 524
Sondervotum zu Kapitel 3.2.2, 5.2.4, 5.2.6 und 5.2.8.1 des Berichts der Projektgruppe 4 „KI und
Arbeit, Bildung, Forschung“ („Beispiele für KI-Anwendungen in Schule und Hochschule“,
„Anforderungen an den Schulunterricht“, „KI und Hochschule“ und „Lehrkräftebildung“) des
sachverständigen Mitglieds Prof. Dr. Boris Hollas sowie der Abgeordneten Joana Cotar, Peter
Felser und Dr. Marc Jongen ........................................................................................................ 525
Sondervotum zu den Kapiteln 1 und 4.3 des Berichts der Projektgruppe 6 „KI und Medien
(„Kurzfassung des Projektgruppenberichts“ und „Ziele und Aufgaben von Medienpolitik“) der
Abgeordneten Joana Cotar sowie der Abgeordneten Peter Felser und Dr. Marc Jongen ............ 528
Sondervotum zu den Kapiteln 5.1.1 bis 5.1.3 des Berichts der Projektgruppe 6 „KI und Medien
(„Funktionen des Journalismus“, „Qualität und Ethik des Journalismus“ und „Herausforderungen
durch die Digitalisierung“) des Abgeordneten Dr. Marc Jongen sowie der Abgeordneten Joana
Cotar und Peter Felser ................................................................................................................. 531
Sondervotum zu den Kapiteln 5.1.1 bis 5.1.3 des Berichts der Projektgruppe 6 „KI und Medien
(„Funktionen des Journalismus“, „Qualität und Ethik des Journalismus“ und „Herausforderungen
durch die Digitalisierung“) des Abgeordneten Dr. Marc Jongen sowie der Abgeordneten Joana
Cotar und Peter Felser ................................................................................................................. 533
Deutscher Bundestag – 19. Wahlperiode
– 17 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Sondervotum zu den Kapiteln 7.4.2 und 7.4.2.1 des Berichts der Projektgruppe 6 „KI und Medien
(„Hassrede“ und „Das Netzwerkdurchsetzungsgesetz gegen Hassrede“) der Abgeordneten Joana
Cotar sowie der Abgeordneten Peter Felser und Dr. Marc Jongen ............................................. 536
4
Sondervoten der FDP-Fraktion ............................................................................................... 539
Sondervotum zu Kapitel 5.7 des Mantelberichts („KI und Recht – Handlungsempfehlungen“) der
Abgeordneten Mario Brandenburg, Carl-Julius Cronenberg und Daniela Kluckert sowie der
sachverständigen Mitglieder Dr. Aljoscha Burchardt und Andrea Martin .................................. 539
Sondervotum zu den Kapiteln 3 und 6.2.1 des Mantelberichts („KI und Umgang mit
Bias/Diskriminierung“ und „Autonomie (Selbstbestimmung des Menschen als Handelnder,
Entscheidungsfreiheit, Nicht-Manipulation)“) der Abgeordneten Mario Brandenburg, Carl-Julius
Cronenberg, Daniela Kluckert und Jessica Tatti sowie der sachverständigen Mitglieder Dr.
Aljoscha Burchardt und Andrea Martin ...................................................................................... 540
Sondervotum zu Kapitel 6.2.4 des Mantelberichts („Ethische Perspektive auf KI – Gemeinwohl
(Wohlstandsförderung, Benefits, Interessen)“) der Abgeordneten Mario Brandenburg, Carl-Julius
Cronenberg und Daniela Kluckert sowie der sachverständigen Mitglieder Dr. Aljoscha Burchardt
und Andrea Martin ...................................................................................................................... 540
Sondervotum zu den Kapiteln 1 und 3.1 des Berichts der Projektgruppe 1 „KI und Wirtschaft“
(„Kurzfassung des Projektgruppenberichts“ und „Grundlagen und Sachstandsklärung: KI hat
großes Potenzial, ist aber kein Selbstläufer“) der Abgeordneten Mario Brandenburg, Carl-Julius
Cronenberg und Daniela Kluckert sowie der sachverständigen Mitglieder Dr. Aljoscha Burchardt
und Andrea Martin ...................................................................................................................... 540
Sondervotum zu Kapitel 5.1.3.4 des Berichts der Projektgruppe 4 „KI und Arbeit, Bildung,
Forschung“ („Weiterentwicklung der sozialen Sicherungssysteme“) des Abgeordneten Carl-Julius
Cronenberg .................................................................................................................................. 540
Sondervotum zu Kapitel 4.1.3 des Berichts der Projektgruppe 5 „KI und Mobilität“ („Zukunft der
Mobilität – Handlungsempfehlungen“) der Abgeordneten Mario Brandenburg, Carl-Julius
Cronenberg und Daniela Kluckert sowie der sachverständigen Mitglieder Dr. Aljoscha Burchardt
und Andrea Martin ...................................................................................................................... 543
5
Sondervoten der Fraktion DIE LINKE................................................................................... 543
Sondervotum zu Kapitel 4 der Kurzfassung des Berichts („Wirtschaft und Arbeit“) der
Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des sachverständigen Mitglieds Dr. Florian
Butollo ......................................................................................................................................... 543
Sondervotum zu Kapitel 3.2 des Mantelberichts („Diskriminierung durch Bias“) der Abgeordneten
Dr. Petra Sitte und Jessica Tatti sowie des sachverständigen Mitglieds Dr. Florian Butollo ...... 543
Sondervotum zu Kapitel 3.5 des Mantelberichts („Handlungsempfehlungen“ zu „KI und Umgang
mit Bias/Diskriminierung“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des
sachverständigen Mitglieds Dr. Florian Butollo ......................................................................... 544
Sondervotum zu Kapitel 4.4 des Mantelberichts („KI-spezifisches Risikomanagement“) der
Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des sachverständigen Mitglieds Dr. Florian
Butollo ......................................................................................................................................... 544
Sondervotum zu Kapitel 4.5 des Mantelberichts („Handlungsempfehlungen“ zu „KI und Umgang
mit Risiko“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des sachverständigen
Mitglieds Dr. Florian Butollo ...................................................................................................... 544
Sondervotum zu Kapitel 5.2 des Mantelberichts („Datenschutzrecht“) der Abgeordneten Dr. Petra
Sitte und Jessica Tatti sowie des sachverständigen Mitglieds Dr. Florian Butollo ..................... 544
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 18 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Sondervotum zu Kapitel 5.5 des Mantelberichts („Haftungsrecht“) der Abgeordneten Dr. Petra
Sitte und Jessica Tatti sowie des sachverständigen Mitglieds Dr. Florian Butollo ..................... 544
Sondervotum zu Kapitel 5.6 des Mantelberichts („Einsatz von KI in der öffentlichen Verwaltung“)
der Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des sachverständigen Mitglieds Dr.
Florian Butollo ............................................................................................................................ 545
Sondervotum zu Kapitel 5.7 des Mantelberichts („Handlungsempfehlungen“ zu „KI und Recht“)
der Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des sachverständigen Mitglieds Dr.
Florian Butollo ............................................................................................................................ 545
Sondervotum zu Kapitel 6 des Mantelberichts („Ethische Perspektiven auf KI“) der Abgeordneten
Dr. Petra Sitte und Jessica Tatti .................................................................................................. 545
Sondervotum zu Kapitel 7.1 des Mantelberichts („Gesellschaftlicher Reflexionsbedarf in Bezug
auf die Wirkung von KI-Systemen“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des
sachverständigen Mitglieds Dr. Florian Butollo ......................................................................... 545
Sondervotum zu Kapitel 7.4 des Mantelberichts („Handlungsempfehlungen“ zu „KI und
Gesellschaft“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des sachverständigen
Mitglieds Dr. Florian Butollo ...................................................................................................... 546
Sondervotum zu Kapitel 8.7 des Mantelberichts („Handlungsempfehlungen“ zu „KI und
ökologische Nachhaltigkeit“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des
sachverständigen Mitglieds Dr. Florian Butollo ......................................................................... 546
Sondervotum zu Kapitel 9.2.3 des Mantelberichts („Leitlinie 3: Förderung der Forschung in der
Breite“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des sachverständigen Mitglieds
Dr. Florian Butollo ...................................................................................................................... 546
Sondervotum zu Kapitel 9.5 des Mantelberichts („Zentrale Handlungsempfehlungen für den
Staat“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des sachverständigen Mitglieds
Dr. Florian Butollo ...................................................................................................................... 546
Sondervotum zu Kapitel 10 des Mantelberichts („KI und SARS-CoV-2“) der Abgeordneten Dr.
Petra Sitte und Jessica Tatti ......................................................................................................... 547
Sondervotum zu Kapitel 10.1 des Mantelberichts („Potenziale und Anwendungsbeispiele von KI
zur Eindämmung und Beherrschung von Pandemien (insbesondere der Covid-19-Pandemie)“) der
Abgeordneten Dr. Petra Sitte und Jessica Tatti ........................................................................... 547
Sondervotum zu Kapitel 10.3 des Mantelberichts („Chance in der Krise für stärkere Translation
und höhere Akzeptanz von KI“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des
sachverständigen Mitglieds Dr. Florian Butollo ......................................................................... 547
Sondervotum zu Kapitel 10.4 des Mantelberichts („Fazit“ zu „KI und SARS-CoV-2“) der
Abgeordneten Dr. Petra Sitte und Jessica Tatti ........................................................................... 548
Sondervotum zu Kapitel 10.4 des Mantelberichts („Fazit“ zu „KI und SARS-CoV-2“) der
Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des sachverständigen Mitglieds Dr. Florian
Butollo ......................................................................................................................................... 549
Sondervotum zu Kapitel 1 des Berichts der Projektgruppe „KI und Wirtschaft („Kurzfassung des
Projektgruppenberichts“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des
sachverständigen Mitglieds Dr. Florian Butollo ......................................................................... 549
Sondervotum zu Kapitel 3.1 des Berichts der Projektgruppe „KI und Wirtschaft“ („Grundlagen
und Sachstandsklärung: KI hat großes Potenzial, ist aber kein Selbstläufer“) der Abgeordneten Dr.
Petra Sitte und Jessica Tatti sowie des sachverständigen Mitglieds Dr. Florian Butollo ............ 550
Deutscher Bundestag – 19. Wahlperiode
– 19 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Sondervotum zu Kapitel 3.2 des Berichts der Projektgruppe „KI und Wirtschaft („KI in
einführenden Szenarien“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des
sachverständigen Mitglieds Dr. Florian Butollo ......................................................................... 550
Sondervotum zu Kapitel 3.3 des Berichts der Projektgruppe „KI und Wirtschaft („Zielstellungen:
Deutschland im Jahr 2030 – eine Vision“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie
des sachverständigen Mitglieds Dr. Florian Butollo ................................................................... 550
Sondervotum zu Kapitel 3.3.1 des Berichts der Projektgruppe „KI und Wirtschaft („Angestrebte
Gesellschafts- und Politikziele: Die Wirtschaft setzt KI unter Einhaltung ethisch vereinbarter
Normen ein“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des sachverständigen
Mitglieds Dr. Florian Butollo ...................................................................................................... 554
Sondervotum zu Kapitel 3.3.3 des Berichts der Projektgruppe „KI und Wirtschaft („Angestrebte
Wirtschaftsziele: „KI made in Germany“ als internationales Gütesiegel“) der Abgeordneten Dr.
Petra Sitte und Jessica Tatti sowie des sachverständigen Mitglieds Dr. Florian Butollo ............ 555
Sondervotum zu Kapitel 4.1.3 des Berichts der Projektgruppe „KI und Wirtschaft („Stand des
Marktes“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des sachverständigen Mitglieds
Dr. Florian Butollo ...................................................................................................................... 556
Sondervotum zu Kapitel 4.1.3.1.2 des Berichts der Projektgruppe „KI und Wirtschaft
(„Themenfeld Mittelstand“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des
sachverständigen Mitglieds Dr. Florian Butollo ......................................................................... 556
Sondervotum zu Kapitel 4.1.3.2.1 des Berichts der Projektgruppe „KI und Wirtschaft
(„Themenfeld „Industrie und Produktion“: Daten als Produktkomponente in der produzierenden
Industrie“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des sachverständigen
Mitglieds Dr. Florian Butollo ...................................................................................................... 556
Sondervotum zu Kapitel 4.1.3.2.4 des Berichts der Projektgruppe „KI und Wirtschaft
(„Themenfeld „Agrarökonomie und Landwirtschaft““) der Abgeordneten Dr. Petra Sitte und
Jessica Tatti sowie des sachverständigen Mitglieds Dr. Florian Butollo .................................... 557
Sondervotum zu Kapitel 4.1.5 des Berichts der Projektgruppe „KI und Wirtschaft („Ökologie“) der
Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des sachverständigen Mitglieds Dr. Florian
Butollo ......................................................................................................................................... 557
Sondervotum zu Kapitel 4.1.6 des Berichts der Projektgruppe „KI und Wirtschaft („Stand der
Administration/Politik – rechtliche Fragen“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti
sowie des sachverständigen Mitglieds Dr. Florian Butollo ......................................................... 558
Sondervotum zu Kapitel 5 des Berichts der Projektgruppe „KI und Wirtschaft
(„Handlungsempfehlungen und Perspektiven“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti
sowie des sachverständigen Mitglieds Dr. Florian Butollo ......................................................... 558
Sondervotum zum Kapitel C. III. „Künstliche Intelligenz und Staat (Projektgruppe 2)“ der
Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des sachverständigen Mitglieds Dr. Florian
Butollo ......................................................................................................................................... 566
Sondervotum zu Kapitel 3.2.1.3 des Berichts der Projektgruppe „KI und Arbeit, Bildung,
Forschung („Prozessoptimierung durch Predictive Analysis“) der Abgeordneten Dr. Petra Sitte und
Jessica Tatti sowie des sachverständigen Mitglieds Dr. Florian Butollo .................................... 572
Sondervotum zu Kapitel 5.1.1.2 des Berichts der Projektgruppe „KI und Arbeit, Bildung,
Forschung („Bislang wenig Forschung zu den Beschäftigungseffekten von KI“) der Abgeordneten
Dr. Petra Sitte und Jessica Tatti sowie des sachverständigen Mitglieds Dr. Florian Butollo ...... 572
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 20 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Sondervotum zu Kapitel 5.2 des Berichts der Projektgruppe „KI und Arbeit, Bildung, Forschung
(„KI in der Bildung“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des
sachverständigen Mitglieds Dr. Florian Butollo ......................................................................... 573
Sondervotum zu Kapitel 5.5 des Berichts der Projektgruppe „KI und Arbeit, Bildung, Forschung
(„SWOT-Analyse“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des sachverständigen
Mitglieds Dr. Florian Butollo ...................................................................................................... 574
Sondervotum zu Kapitel C. VI. „Künstliche Intelligenz und Mobilität (Projektgruppe 5)“ der
Abgeordneten Dr. Petra Sitte und Jessica Tatti ........................................................................... 575
6
Sondervoten der Fraktion BÜNDNIS 90/DIE GRÜNEN ...................................................... 576
Sondervotum zu Kapitel 5.3 des Berichtsteils „Allgemeiner Teil: Auftrag und Arbeitsweise“
(„Einbeziehung der Öffentlichkeit und Pressearbeit“) der Abgeordneten Dr. Anna Christmann,
Dieter Janecek, Dr. Petra Sitte und Jessica Tatti sowie der sachverständigen Mitglieder Prof. Dr.
Hannah Bast, Dr. Florian Butollo und Dr. Stefan Heumann ....................................................... 576
Sondervotum zu Kapitel 9 des Mantelberichts („KI und Forschung“) die Abgeordneten Dr. Anna
Christmann und der Abgeordnete Dieter Janecek sowie der sachverständigen Mitglieder Prof. Dr.
Hannah Bast und Dr. Stefan Heumann ....................................................................................... 577
Sondervotum zum Kapitel C. VII. „Künstliche Intelligenz und Medien (Projektgruppe 6)“ der
Abgeordneten Tabea Rößner, Dr. Petra Sitte und Jessica Tatti und der sachverständigen Mitglieder
Dr. Florian Butollo und Dr. Stefan Heumann ............................................................................. 578
E.
Repliken ..................................................................................................................................... 581
1
Replik der CDU/CSU-Fraktion................................................................................................ 581
Replik der Abgeordneten Ronja Kemmer und der Abgeordneten Marc Biadacz, Hansjörg Durz,
Jan Metzler, Stefan Sauer, Prof. Dr. Claudia Schmidtke, Nadine Schön, Andreas Steier sowie der
sachverständigen Mitglieder Susanne Dehmel, Prof. Dr. Wolfgang Ecker, Prof. Dr. Alexander
Filipovic, Dr. Tina Klüwer, Prof. Dr. Antonio Krüger, Prof. Dr. Jörg Müller-Lietzkow und Dr.
Sebastian Wieczorek zu den Sondervoten 3.3 und 3.4 des Abgeordneten Dr. Marc Jongen und
anderer zu den Kapiteln 7 und 8 des Mantelberichts („KI und Gesellschaft“ und „KI und
ökologische Nachhaltigkeit“) ...................................................................................................... 581
Replik der Abgeordneten Ronja Kemmer und der Abgeordneten Marc Biadacz, Hansjörg Durz,
Jan Metzler, Stefan Sauer, Prof. Dr. Claudia Schmidtke, Nadine Schön, Andreas Steier sowie der
sachverständigen Mitglieder Susanne Dehmel, Prof. Dr. Wolfgang Ecker, Prof. Dr. Alexander
Filipovic, Dr. Tina Klüwer, Prof. Dr. Antonio Krüger, Prof. Dr. Jörg Müller-Lietzkow und Dr.
Sebastian Wieczorek zum Sondervotum 3.5 des Abgeordneten Dr. Marc Jongen und anderer zum
Kapitel 9 des Mantelberichts („KI und Forschung“) ................................................................... 582
Replik der Abgeordneten Ronja Kemmer und der Abgeordneten Marc Biadacz, Hansjörg Durz,
Jan Metzler, Stefan Sauer, Prof. Dr. Claudia Schmidtke, Nadine Schön, Andreas Steier sowie der
sachverständigen Mitglieder Susanne Dehmel, Prof. Dr. Wolfgang Ecker, Prof. Dr. Alexander
Filipovic, Dr. Tina Klüwer, Prof. Dr. Antonio Krüger, Prof. Dr. Jörg Müller-Lietzkow und Dr.
Sebastian Wieczorek zum Sondervotum 3.11 des sachverständigen Mitglieds Prof. Dr. Boris
Hollas und anderer zu den Kapiteln 3.2.2, 5.2.4, 5.2.6 und 5.2.8.1 des Berichts der Projektgruppe
„KI und Arbeit, Bildung, Forschung“ („Beispiele für KI-Anwendungen in Schule und
Hochschule“, „Anforderungen an den Schulunterricht“, „KI und Hochschule“ und
„Lehrkräftebildung“) ................................................................................................................... 583
2
Replik der SPD-Fraktion .......................................................................................................... 583
Deutscher Bundestag – 19. Wahlperiode
– 21 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Replik des Abgeordneten René Röspel und der Abgeordneten Arno Klare, Daniela Kolbe, Elvan
Korkmaz-Emre und Falko Mohrs sowie der sachverständigen Mitglieder Prof. Dr.-Ing. Sami
Haddadin, Jan Kuhlen, Lena-Sophie Müller und Lothar Schröder zum Sondervotum zu Kapitel
5.1.3.4 des Berichts der Projektgruppe 4 „KI und Arbeit, Bildung, Forschung“
(„Weiterentwicklung der Sozialen Sicherungssysteme“) des Abgeordneten Carl-Julius Cronenberg
zum Kapitel 9 des Mantelberichts („KI und Forschung“) ........................................................... 583
Replik des Abgeordneten René Röspel und der Abgeordneten Dr. Danyal Bayaz, Dr. Anna
Christmann, Anke Domscheit-Berg, Arno Klare, Daniela Kolbe, Elvan Korkmaz-Emre, Falko
Mohrs, Tabea Rößner, Dr. Petra Sitte und Jessica Tatti sowie der sachverständigen Mitglieder Dr.
Florian Butollo, Prof. Dr.-Ing. Sami Haddadin, Dr. Stefan Heumann, Jan Kuhlen, Lena-Sophie
Müller, Lothar Schröder und Prof. Dr. Katharina Zweig zum Sondervotum 3.11 des
sachverständigen Mitglieds Prof. Dr. Boris Hollas und anderer zu den Kapiteln 3.2.2, 5.2.4, 5.2.6
und 5.2.8.1 des Berichts der Projektgruppe „KI und Arbeit, Bildung, Forschung“ („Beispiele für
KI-Anwendungen in Schule und Hochschule“, „Anforderungen an den Schulunterricht“, „KI und
Hochschule“ und „Lehrkräftebildung“) ...................................................................................... 584
3
Replik der FDP-Fraktion ......................................................................................................... 584
Replik der Abgeordneten Mario Brandenburg, Daniela Kluckert und Carl-Julius Cronenberg sowie
der sachverständigen Mitglieder Dr. Aljoscha Burchardt und Andrea Martin zum Sondervotum
3.11 des sachverständigen Mitglieds Prof. Dr. Boris Hollas und anderer zu den Kapiteln 3.2.2,
5.2.4, 5.2.6 und 5.2.8.1 des Berichts der Projektgruppe „KI und Arbeit, Bildung, Forschung“
(„Beispiele für KI-Anwendungen in Schule und Hochschule“, „Anforderungen an den
Schulunterricht“, „KI und Hochschule“ und „Lehrkräftebildung“) ............................................ 584
4
Literaturverzeichnis zu den Sondervoten und Repliken ....................................................... 585
F.
Anhang ....................................................................................................................................... 598
1
Glossar........................................................................................................................................ 598
2
Literaturverzeichnis zum Bericht ............................................................................................ 607
Einsetzungsbeschluss .................................................................................................................. 663
Organisation ................................................................................................................................ 667
2.2.1
Zusammensetzung der Enquete-Kommission ............................................................................. 667
2.2.2
Obleute ........................................................................................................................................ 667
2.2.3
Zusammensetzung der Projektgruppen ....................................................................................... 668
2.2.4
Fraktionsreferentinnen und –referenten ...................................................................................... 671
2.2.5
Mitarbeiterinnen und –Mitarbeiter der Mitglieder ...................................................................... 671
2.2.6
Übersicht über die Mitarbeiterinnen und Mitarbeiter des Kommissionssekretariats .................. 672
Protokolle .................................................................................................................................... 673
2.3.1
Liste der Protokolle der Enquete-Kommission: .......................................................................... 673
2.3.2
Liste der Protokolle der Projektgruppe 1 „KI und Wirtschaft“: .................................................. 674
2.3.3
Liste der Protokolle der Projektgruppe 2 „KI und Staat“: ........................................................... 674
2.3.4
Liste der Protokolle der Projektgruppe 3 „KI und Gesundheit“:................................................. 675
2.3.5
Liste der Protokolle der Projektgruppe 4 „KI und Arbeit“: ........................................................ 675
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 22 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

2.3.6
Liste der Protokolle der Projektgruppe 5 „KI und Mobilität“ ..................................................... 676
2.3.7
Liste der Protokolle der Projektgruppe 6 „KI und Medien“ ........................................................ 676
Verzeichnisse und Übersichten ................................................................................................... 676
2.4.1
Liste der Drucksachen der Enquete-Kommission: ...................................................................... 676
2.4.2
Liste der Drucksachen der Projektgruppe 1 „KI und Wirtschaft“ ............................................... 684
2.4.3
Liste der Drucksachen der Projektgruppe 2 „KI und Staat“........................................................ 686
2.4.4
Liste der Drucksachen der Projektgruppe 3 „KI und Gesundheit“ ............................................. 687
2.4.5
Liste der Drucksachen der Projektgruppe 4 „KI und Arbeit“ ..................................................... 690
2.4.6
Liste der Drucksachen der Projektgruppe 5 „KI und Mobilität“ ................................................. 695
2.4.7
Liste der Drucksachen der Projektgruppe 6 „KI und Medien“ ................................................... 697
2.4.8
Liste der Materialien der Enquete-Kommission: ........................................................................ 699
2.4.9
Liste der Materialien der Projektgruppe 3 „KI und Gesundheit“ ................................................ 701
2.4.10
Liste der Materialien der Projektgruppe 5 „KI und Mobilität“ ................................................... 702
2.4.11
Anhörungsgäste der Enquete-Kommission ................................................................................. 702
2.4.12
Anhörungsgäste der Projektgruppen ........................................................................................... 705
2.4.12.1 Projektgruppe 1 „ KI und Wirtschaft“ ......................................................................................... 705
2.4.12.2 Projektgruppe 2 „KI und Staat“ .................................................................................................. 707
2.4.12.3 Projektgruppe 3 „KI und Gesundheit“ ........................................................................................ 707
2.4.12.4 Projektgruppe 4 „KI und Arbeit“ ................................................................................................ 709
2.4.12.5 Projektgruppe 5 „KI und Mobilität“ ............................................................................................ 710
2.4.12.6 Projektgruppe 6 „KI und Medien“ .............................................................................................. 711
G.
Anlagen ...................................................................................................................................... 712
Deutscher Bundestag – 19. Wahlperiode
– 23 –
Drucksache
19/
23700
Vorabfassung
wird
durch
die
endgültige
Fassung
ersetzt.

Vorwort der Vorsitzenden
Sehr geehrte Damen und Herren,
geneigte Leserinnen und Leser,
die Zeit, in der wir leben, ist geprägt von unglaublich vielen Umbrüchen. Künstliche Intelligenz (KI) nimmt
sich neben anderen Entwicklungen fast klein aus. Doch diese Technologie hat das Potenzial, Treiber und
Verstärker gesellschaftlicher Veränderungen zu sein. Sie kann ein Werkzeug sein, um Probleme zu lösen
oder sie womöglich auch zu verschlimmern. Gut, dass der Deutsche Bundestag eine Enquete-Kommission
zu diesem wichtigen Thema eingesetzt hat. Denn, ob wir in Deutschland und Europa die KI-Entwicklung
mitprägen können und wie wir diese Technologie einsetzen, entscheidet sich jetzt.
Diese Enquete-Kommission hat meinen Bundestagskolleginnen und -kollegen sowie mir ganz persönlich die
Möglichkeit eingeräumt, außerhalb des gewöhnlichen, eng getakteten parlamentarischen Betriebs, sehr
intensiv über das Thema KI zu sprechen, dabei viel zu lernen und eine eigenständige parlamentarische
Position zu entwickeln. Diese Erkundungsreise wurde begleitet und befruchtet vom intensiven Austausch
zwischen Politikerinnen und Politikern und sachkundigen Vertreterinnen und Vertretern aus Wirtschaft,
Gewerkschaften, Forschung und Zivilgesellschaft.
Der vorliegende Bericht zeichnet aktuelle Konsense und Kompromisslinien nach und gibt eine Vielzahl zum
Teil sehr spezifischer Handlungsempfehlungen ab. Parallel dazu ist allen Beteiligten deutlich geworden, an
welchen Stellen noch Diskussionsbedarf besteht und wo es politische Unterschiede gibt. Auch das sind
wertvolle Erkenntnisse. Mit diesem Bericht ist die Arbeit daher nicht abgeschlossen. Sie hat gerade erst
begonnen. Ich hoffe, dass die hier gesammelten Überlegungen und Handlungsempfehlungen eine gute
Grundlage für das weitere politische Handeln und einen breiten gesellschaftlichen Dialog über die
Entwicklung von KI und ihre Rolle in unserem Leben sein werden.
Ich möchte den Mitgliedern der Kommission, also den externen Sachverständigen und den beteiligten
Bundestagsabgeordneten, für ihre Arbeit und den Willen danken, sich so tief auf ein Thema, aber auch auf
andere Sichtweisen einzulassen. Ich habe großen Respekt vor der Zeit, Kraft und Expertise, die sie
eingebracht haben. Außerdem möchte ich sehr herzlich dem Kommissionssekretariat des Deutschen
Bundestages danken, das unsere Arbeit auf großartige Weise begleitet und gestützt hat. Gerade unter den
herausfordernden Umständen der Corona-Pandemie wäre die Arbeit ohne sie nicht denkbar gewesen.
Nun wünsche ich Ihnen, liebe Leserinnen und Leser, eine anregende Lektüre und den Abgeordneten des
Deutschen Bundestages und den Mitgliedern der Bundesregierung viel Mut und Schaffenskraft, die
Empfehlungen umzusetzen.
Daniela Kolbe
Vorsitzende
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 24 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

A. Kurzfassung des Berichts
Der nachfolgende Text fasst die wesentlichen Ergebnisse der im Jahr 2018 eingesetzten Enquete-
Kommission „Künstliche Intelligenz – Gesellschaftliche Verantwortung und wirtschaftliche, soziale und
ökologische Potenziale“ des Deutschen Bundestages zusammen.
Einleitung
Künstliche Intelligenz (KI) wird zukünftig in immer mehr Bereichen unserer Lebenswelten eine relevante
Rolle spielen.
So erkennen KI-Systeme Sprachanweisungen, filtern Spammails heraus, erkennen Bilder, sortieren
Suchergebnisse, korrigieren Schreibfehler und schlagen Produkte vor. Sie übersetzen Texte und spielen Go
oder Schach, letzteres schon lange besser als ein Mensch. Die Systeme steuern Staubsaugerroboter,
Fahrassistenzsysteme und ganze Fertigungsanlagen.
KI-Systeme helfen Medizinern zunehmend bei der Diagnose und bei der Auswahl der individuell besten
Therapie. Es geht dabei um verschiedene Vorteile wie Komfort und Effizienz, aber auch um Sicherheit und
Gesundheit. KI und intelligente Systeme bergen darüber hinaus großes Potenzial zur Lösung aktueller
gesellschaftlicher Herausforderungen, wie die einer zunehmend älter werdenden Gesellschaft oder des
Klimawandels.
Auf welchen Begriff von KI hat sich die Enquete-Kommission verständigt?
Um eine Diskussionsgrundlage zu haben, hat sich die Enquete-Kommission auf eine Beschreibung der KI
verständigt. Während der Arbeit kam wiederkehrende Kritik an dem sperrigen und emotionsbeladenen
Begriff „KI“ auf, welcher sowohl überzogene Erwartungen als auch Ängste wecken kann. Die Enquete-
Kommission hat bewusst auf eine eigene Definition von KI verzichtet und stattdessen eine Begriffsklärung
vorgenommen (Kapitelverweis). Sie beschäftigte sich in ihrer Arbeit primär mit dem Aspekt der lernenden
Systeme.
Warum sollten sich Politik und Gesellschaft aktiv damit beschäftigen?
Der Einsatz von KI in immer mehr Bereichen wird das Arbeits- und Privatleben noch viel stärker und
kontinuierlich weiter verändern. Diesen Wandel aufzuhalten, ist weder möglich noch sinnvoll. Der Anspruch
ist, diesen Wandel zu gestalten und darauf hinzuwirken, dass er wertegeleitet und zum Wohl von Mensch
und Umwelt erfolgt. Um diesem Anspruch gerecht zu werden, müssen Deutschland und Europa eine führende
Rolle in der Entwicklung und Anwendung dieser Schlüsseltechnologie übernehmen. Es sollen die Vorteile
und Chancen, die sich mit den neuen technologischen Möglichkeiten ergeben, befördert und genutzt werden,
wobei gleichzeitig die Risiken abgewogen und wenn nötig eingegrenzt werden.
Was war die Aufgabe der Enquete-Kommission?
Der Deutsche Bundestag hat aus diesem Grund am 26. Juni 2018 eine Enquete-Kommission eingesetzt, die
sich intensiv mit KI und ihren gesellschaftlichen, wirtschaftlichen und ökologischen Folgen beschäftigen
soll. Basierend auf einem gemeinsamen Verständnis der Technologien sollten existierende und zukünftige
Auswirkungen auf verschiedene Gesellschaftsbereiche untersucht und gemeinsam Handlungsempfehlungen
für den Gesetzgeber entwickelt werden.
Wer hat an der Enquete-Kommission mitgewirkt?
Die Enquete-Kommission wurde zu gleichen Teilen mit Bundestagsabgeordneten und Sachverständigen
besetzt. Zusätzlich wurden sowohl zu den Sitzungen der Projektgruppen als auch zu den Sitzungen der
Enquete-Kommission zahlreiche weitere Expertinnen und Experten eingeladen, die die Diskussionen mit
Denkanstößen und Detailwissen bereicherten.
Wie hat die Enquete-Kommission Öffentlichkeit hergestellt?
Auch wenn eine Enquete-Kommission in erster Linie dazu dient, dem Deutschen Bundestag Empfehlungen
zu geben, gab es einen fraktionsübergreifenden Konsens dazu, Öffentlichkeit herzustellen. Aus diesem Grund
sind alle in den Enquete-Sitzungen gehaltenen Vorträge von Expertinnen und Experten öffentlich
zugänglich.
1
Die Zusammenfassungen der Teilberichte hat die Enquete-Kommission jeweils nach Ende der
1
Sie sind abrufbar unter
https://www.bundestag.de/ausschuesse/weitere_gremien/enquete_ki
(zuletzt abgerufen am
13. Oktober 2020).
Deutscher Bundestag – 19. Wahlperiode
– 25 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Projektgruppenphase veröffentlicht und im Frühjahr 2020 eine digitale Plattform eingerichtet, auf der
interessierte Bürgerinnen und Bürger untereinander und mit den Mitgliedern der Enquete-Kommission in
den Dialog treten konnten. Auch die Ergebnispräsentation am 28. September 2020 wurde per Livestream
übertragen und bot die Möglichkeit, Fragen an die Enquete-Mitglieder zu stellen. Die Veröffentlichung
dieses Abschlussberichts kann zu einer breiten Debatte zu KI beitragen. Die Enquete-Kommission bedankt
sich noch einmal ausdrücklich bei allen Bürgerinnen und Bürgern sowie bei allen Expertinnen und Experten
für ihre wertvollen Beiträge.
In welchem Umfeld arbeitete die Enquete-Kommission?
Die Arbeit dieser Enquete-Kommission ist eingebettet in eine Vielzahl von politischen Initiativen, die sich
mit den Implikationen einer immer breiteren Nutzung von KI in allen Gesellschaftsbereichen beschäftigen.
Hierzu gehören beispielsweise die Fortschreibung der KI-Strategie der Bundesregierung, die Arbeit der
Datenethikkommission, das Weißbuch zu KI der Europäischen Kommission sowie die zahlreichen KI-
Initiativen der europäischen Partner. Natürlich ist es auch in Zukunft wichtig, diesen Dialog auf allen
politischen Ebenen weiterzuführen.
Wie beeinflusste die Corona-Pandemie die Arbeit der Enquete-Kommission?
Auch für die Arbeit der Enquete-Kommission bedeutete die Covid-19-Pandemie eine starke Zäsur. Anstatt
sich physisch zu treffen, arbeiteten die einzelnen Gruppen seitdem primär in Videokonferenzen und über
digitale Plattformen. Sitzungen der gesamten Kommission fanden online oder in hybrider Form statt. Zudem
lieferten die Erfahrungen aus der Pandemie der Enquete-Kommission auch inhaltlich Denkanstöße, die in
den Endbericht eingeflossen sind.
2
Außerdem musste die Befragung von Fokusgruppen entfallen und eine
geplante Delegationsreise nach Russland und Finnland musste abgesagt werden.
Überblick zu den Projektgruppen und dem Mantelbericht
Der Gesamtbericht ist das Produkt intensiver Befassung mit der Technologie, ihren Voraussetzungen und
ihren Anwendungsgebieten sowie den Chancen und Risiken, die sich daraus ergeben. Die Enquete-
Kommission entschied sich, diese in sechs Projektgruppen zu gliedern, die in verschiedenen Politikfeldern
konkrete
Anwendungsfälle
des
KI-Einsatzes
beleuchten
sollten.
Dabei
diskutierten
die
Projektgruppenmitglieder den aktuellen Status quo, zukünftige Herausforderungen und daraus resultierende
Handlungsempfehlungen und dokumentierten dies in den Projektgruppenberichten. Auf Basis dieser
fachspezifischen und dennoch praxisnahen Diskussionen identifizierten die Mitglieder der Enquete-
Kommission dann gemeinsam übergreifende Themen, die sich durch alle Anwendungsgebiete ziehen. Diese
wurden im Mantelteil des Berichts zusammengeführt. Der Bericht schließt mit einem Kapitel zur
Arbeitsweise der Enquete-Kommission ab. Im Folgenden werden die Berichtsteile kurz inhaltlich und
strukturell vorgestellt.
Mantelbericht: Projektgruppenübergreifende Themen
Der Mantelbericht startet mit dem Kapitel „Begriffsklärung Künstliche Intelligenz“, in dem wesentliche, in
den Berichtsteilen verwendete Grundbegriffe erläutert werden. Die nachfolgenden Kapitel setzen sich mit
projektgruppenübergreifenden Themen, wie Daten oder Recht, auseinander. Es werden Grundlagen und
Erkenntnisse beschrieben, die für das Gesamtverständnis des Berichts wichtig sind sowie übergreifende
Handlungsempfehlungen gegeben.
3
Künstliche Intelligenz und Wirtschaft (Projektgruppe 1)
Die Projektgruppe „KI und Wirtschaft“ beginnt ihren Bericht mit einer objektiven Sachstandsklärung und
einer gemeinsame Zielsetzung für das Jahr 2030. In konkreten Szenarien werden die Situation und
Handlungsoptionen der drei zentralen Akteure – Start-ups, mittelständische Unternehmen und Konzerne –
erörtert. Eine Stärken-Schwächen-Analyse stellt dann den Status quo in der wirtschaftsbezogenen Forschung
und den Status quo der KI-Implementierung für ausgewählte Branchen (Industrie/Produktion, Handel,
Finanz- und Versicherungswirtschaft, Agrarökonomie und Landwirtschaft) und für die drei oben genannten
Akteure fest. Auf dieser Basis entstand abschließend ein Katalog von Handlungsempfehlungen.
Künstliche Intelligenz und Staat (Projektgruppe 2)
2
Siehe auch Kapitel 10 des Mantelberichts [KI und SARS-CoV-2].
3
Siehe auch den Mantelbericht in Kapitel C. I. [Mantelbericht: Projektgruppenübergreifende Themen].
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 26 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Aufgrund der breiten Anwendungsbereiche von KI durch den Staat wurde der Projektgruppenbericht in drei
Teile gegliedert, die von je einer Arbeitsgruppe (AG) erstellt wurden. AG 1 beschäftigte sich mit KI in der
öffentlichen Verwaltung, AG 2 befasste sich mit Smart City sowie Open Data und AG 3 diskutierte KI im
Kontext von Innerer Sicherheit, Äußerer Sicherheit und IT-Sicherheit. Den AG-Berichten ist ein allgemeiner
Teil vorangestellt, der einen umfassenden Katalog an themenübergreifenden Handlungsempfehlungen
enthält. Darüber hinaus finden sich themenspezifische Handlungsempfehlungen am Ende des jeweiligen
Kapitels im AG-Bericht.
Künstliche Intelligenz und Gesundheit (Projektgruppe 3)
Der Bericht der Projektgruppe „KI und Gesundheit“ beginnt mit einem beispielhaften Überblick über die
konkreten Anwendungsgebiete (z. B. Früherkennung, Versorgung und Monitoring, personalisierte
Therapien, Pflege), gefolgt von einer Stärken-Schwächen-Analyse für Deutschland. Darauf folgt ein
Überblick über KI-spezifische Handlungsfelder (insbesondere Digitalisierung und Datenverfügbarkeit,
Forschungs- und Wirtschaftsstandort Deutschland, Haftung und Zulassung, intelligente Assistenzsysteme
beispielweise in der Pflege). Zu jedem der Handlungsfelder werden konkrete Handlungsempfehlungen
formuliert, die in der Einleitung in zehn ausgewählten Handlungsempfehlungen zusammengefasst sind.
Künstliche Intelligenz und Arbeit, Bildung, Forschung (Projektgruppe 4)
Die Projektgruppe beschäftigte sich zum einen mit den Anwendungsfällen und Auswirkungen von KI auf die
Arbeitswelt, zum anderen damit, wie KI in der Aus- und Weiterbildung eingesetzt werden kann, in welchen
Bildungsfeldern zum Thema KI aus- und weitergebildet werden sollte und letztlich auch damit, welche
Forschungsfelder für KI relevant sind. Mit Anwendungsfällen („Use Cases") wird thematisiert, wo KI im
betrieblichen Umfeld und im Umfeld der Verwaltung erprobt bzw. wie KI bereits eingesetzt wird. Analog
sind Beispiele aufgeführt, wo KI in Schule und Hochschule sowie in der Forschung eingesetzt werden kann
bzw. schon wird. Ergänzt werden die Anwendungsfälle mit einer Vision für das Jahr 2030 und damit, wie
die Arbeitswelt, Bildung und Forschung von morgen aussehen könnte sowie einer Betrachtung der Treiber
und Bremser für diese Entwicklung. Nach diesem Überblick werden in allen Bereichen die wesentlichen
Herausforderungen identifiziert und entsprechende Handlungsempfehlungen entwickelt.
Künstliche Intelligenz und Mobilität (Projektgruppe 5)
Der Bericht der Projektgruppe besteht neben der Kurzfassung, den Vorbemerkungen und der Einführung aus
einer Reihe thematischer Schwerpunkte. Zuerst wurden KI-basierte Zukunftsvisionen der Mobilität sowie
Intermodalität und Plattformen diskutiert. Danach wurden Straßen-, Schienen-, Luft- und Schiffsverkehr in
Bezug auf den KI-Einsatz betrachtet sowie abschließend übergreifende Themen der Ökonomie, des
Wettbewerbs und der Stadtentwicklung analysiert. Jedes der daraus resultierenden Schwerpunktkapitel
beinhaltet eigene Handlungsempfehlungen, die sowohl den Personen- als auch den Güterverkehr
thematisieren.
Künstliche Intelligenz und Medien (Projektgruppe 6)
Die Projektgruppe „KI und Medien“ trug dem vielschichtigen Charakter von Medien Rechnung. Erstens
thematisiert der Bericht die Zusammenhänge zwischen KI und Medien in der Breite. In diesen Teilen wurden
sowohl die Perspektive der Nutzerinnen und Nutzer bzw. Rezipientinnen und Rezipienten als auch die der
Anbietenden bzw. die Marktebene betrachtet. Hierbei berücksichtigt der Bericht sowohl Informations- als
auch Unterhaltungsmedien. Darüber hinaus wirft der Bericht im Rahmen der Marktanalyse einen
umfänglichen Blick auf die Plattformmärkte. Zweitens erörtert der Bericht einzelne Themen wie Deep Fakes,
Empfehlungssysteme, automatisierten Journalismus, Social Bots sowie politisches Microtargeting in der
Tiefe. Drittens galt ein besonderer Blick der Medienregulierung, wo KI-Relevanz im Kontext von Hate
Speech oder Uploadfiltern im Zusammenhang mit großen Plattformen behandelt wurde. Abgerundet wurden
die
jeweils
von
der
Herangehensweise
unterschiedlichen
Abschnitte
durch
konkrete
Handlungsempfehlungen, die der Vielfalt der Medien und KI-Bezüge Rechnung tragen.
Auftrag und Hintergrund der Enquete-Kommission
Das Kapitel „Auftrag und Arbeitsweise der Enquete-Kommission“ gibt einen Überblick über die
Hintergründe, Zusammensetzung und Arbeit der Enquete-Kommission. Die Liste der externen
Sachverständigen ist im Anhang 2.4.11 [Anhörungsgäste der Enquete-Kommission] und im Anhang 2.4.12
[Anhörungsgäste der Projektgruppen] beigefügt.
Deutscher Bundestag – 19. Wahlperiode
– 27 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Zusammenfassung und Handlungsempfehlungen (Auswahl)
Bei der Arbeit der Enquete-Kommission waren einige Aspekte allgegenwärtig. Eine Auswahl wird im
Folgenden dargestellt.
Das Veränderungspotenzial von KI für unsere Gesellschaft
KI ist die nächste Stufe einer durch technologischen Fortschritt getriebenen Digitalisierung. Ihr Potenzial, in
vielen Lebens- und Gesellschaftsbereichen einen tiefgreifenden Wandel herbeizuführen, wird in den
Analysen des Status quo der Projektgruppenberichte sichtbar (siehe Kapitel 3.1 des Berichts der
Projektgruppe „KI und Arbeit, Bildung, Forschung“ [Grundlagen und Sachstandsklärung], Kapitel 2.1 des
Berichts der Projektgruppe „KI und Staat“ [Einführung], Kapitel 4.4.2 des Berichts der Projektgruppe „KI
und Gesundheit“ [Status quo von KI-Anwendungen in der Pflege], Kapitel 4.1 des Berichts der Projektgruppe
„KI und Wirtschaft“ [Status quo von KI im Bereich der Wirtschaft], Kapitel 4.1 des Berichts der
Projektgruppe „KI und Mobilität“ [Zukunft der Mobilität], Kapitel 3.2 des Berichts der Projektgruppe „KI
und Medien“ [Einführung in die technischen Grundlagen]). Der parallel mit dem technologischen Wandel
einhergehende Wertewandel ist nicht per se schlecht, der Wertewandel gehört zur Entwicklung von Mensch
und Gesellschaft. Die technische Entwicklung braucht daher demokratische Gestaltung – und zwar auf der
Basis einer Übereinkunft über gutes und gerechtes Leben für heute und für zukünftige Generationen (siehe
Kapitel 6.1 des Mantelberichts [Ziele und Zwecke einer KI-Ethik]). Die Enquete-Kommission hat einen
gesellschaftlichen Reflexionsbedarf in Bezug auf die Wirkung von KI-Systemen festgehalten, direkte
Auswirkungen des Einsatzes von KI-Systemen auf das Zusammenleben und die Diskurse darüber dargestellt
und die Möglichkeiten einer nachhaltigen und wohlstandsorientierten politischen Gestaltung der Chancen
und Auswirkungen von KI-Systemen beleuchtet (siehe Kapitel 7 des Mantelberichts [KI und Gesellschaft]).
Der Mensch steht im Mittelpunkt
Die Enquete-Kommission hat sich in ihren Debatten am Leitbild einer menschenzentrierten KI orientiert.
Das bedeutet, dass KI-Anwendungen vorrangig auf das Wohl und die Würde der Menschen ausgerichtet sein
und einen gesellschaftlichen Nutzen bringen sollten. Dabei ist zu beachten, dass der Einsatz von KI-Systemen
die Selbstbestimmung des Menschen als Handelnden und seine Entscheidungsfreiheiten wahrt und
möglicherweise sogar stärkt. Die Enquete-Kommission ist zuversichtlich, dass mit dieser Prämisse das
positive Potenzial von KI-Anwendungen ausgeschöpft und das Vertrauen der Anwenderinnen und Anwender
bei der Verwendung von KI-Systemen am besten begründet und gestärkt werden kann. Dieses Vertrauen ist
grundlegender Schlüssel für die gesellschaftliche Akzeptanz und den wirtschaftlichen Erfolg dieser
Technologie. Und dieser Erfolg wiederum ist der Schlüssel dafür, dies als KI europäischer Prägung zu
etablieren, eine zukunftsfähige Volkswirtschaft sicherzustellen und nicht von KI, der andere
Wertegrundhaltungen zu Grunde liegen, geprägt zu werden.
Neue Technologie zeigt Handlungsbedarfe auf und verstärkt sie mitunter
KI-Systeme machen den Handlungsbedarf bei bestehenden gesellschaftlichen, wirtschaftlichen und
staatlichen Aufgaben mitunter stärker sichtbar oder verstärken ihn sogar. Dazu zählen etwa Bildungs- und
Geschlechtergerechtigkeit, die Bekämpfung von Rassismus und anderen Diskriminierungen sowie die
Begleitung des ökologischen und ökonomischen Strukturwandels. In den Debatten der Enquete-Kommission
wurde an vielen Stellen deutlich, dass KI-Systeme ein mächtiges Werkzeug, aber eben nur ein Werkzeug
sind. Parlament
und Regierung
müssen
weiterhin
politische
Lösungen für
gesellschaftliche
Herausforderungen finden – KI kann dann für die Umsetzung eingesetzt werden. Mitunter öffnen sich für
gesellschaftliche Herausforderungen aber auch neue Lösungsansätze durch KI. Bemerkenswert ist, dass
allein die Diskussion um KI selbst bewirkt, dass sich Wirtschaft, Arbeitnehmerinnen und Arbeitnehmer
sowie Politik gesamtheitlich nicht nur intensiv mit den technologischen Aspekten von KI, sondern auch mit
Themen wie Verteilungsgerechtigkeit und Gestaltungsoptionen für Fairness in digitalen Märkten
beschäftigen (siehe Kapitel 4.1.3 des Berichts der Projektgruppe KI und Wirtschaft [Stand des Marktes]).
Eine gemeinsame Europäische KI-Strategie
Ein starkes, wiederkehrendes Element in den Diskussionen der Enquete-Kommission war, eine zukünftige
KI-Strategie auch europäisch zu denken.
KI-Entwicklung ist auf die Kooperation verschiedener Akteure in Forschung, Entwicklung und Anwendung
angewiesen. Deutschland allein hat wenige Möglichkeiten, die Entwicklung von KI-Systemen im Sinne der
oben genannten Zielsetzungen zu gestalten. Es braucht daher eine europäische Verständigung, um KI-
Anwendungen nach europäischen Vorstellungen gestalten zu können.
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 28 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Dies machte sich auch an vielen zentralen Handlungsempfehlungen bemerkbar, die eine europäische
Dimension in Bezug auf eine digitale Infrastruktur (siehe Kapitel 9.2 des Mantelberichts [Leitlinien]) sowie
einen europa- und deutschlandweit beschleunigten Ausbau der Kapazitäten, z. B. beim Cloud-Computing
und beim Netzausbau, anraten. Weiterhin werden das Erreichen technologischer Souveränität (siehe Kapitel
5.1.3 des Berichts der Projektgruppe „KI und Wirtschaft“ [Technologische Souveränität]), eine gemeinsame
Forschungsstrategie (siehe Kapitel 9.5 des Mantelberichts [Zentrale Handlungsempfehlungen für den Staat]),
ein auf europäischen Werten basierter Umgang mit Daten (siehe Kapitel 2.6 des Mantelberichts [Politischer
Handlungsrahmen bezüglich KI und Daten]) und eine europaweit einheitliche Regulierung (siehe Kapitel 4.4
des Mantelberichts [KI-spezifisches Risikomanagement]) gefordert.
Interdisziplinarität hebt Potenziale
Ein interdisziplinärer Dialog zwischen den unterschiedlichen Akteuren und der Gesellschaft ist notwendig,
um die Potenziale rund um KI zu heben, mögliche Risiken frühzeitig zu erkennen und der Komplexität der
Materie gerecht zu werden. Dafür ist es notwendig, dass Aus- und Weiterbildung zu KI breit angelegt sind,
um diesen interdisziplinären Dialog zu ermöglichen. Auch trägt Aufklärung dazu bei, Befürchtungen und
Wünsche bezüglich der KI-getriebenen gesellschaftlichen Entwicklung frühzeitig aufzunehmen und ein
realistischeres Bild der Möglichkeiten und Gefahren des Einsatzes von KI-Systemen zu zeichnen.
Ebenso ist technische Interdisziplinarität Schlüssel für erfolgreiche KI-Innovation in Deutschland: KI-
Software, KI-Hardware und KI-Anwendung müssen gemeinsam betrachtet werden, denn nur zusammen
kann eine energieeffiziente Lösung erreicht, die Sicherheit (Robustheit, Zuverlässigkeit) der Gesamtlösung
(z. B. für autonome Verkehrsmittel) sichergestellt oder – bei der wirtschaftliche Nutzung einer KI-Lösung –
deren Kosten gegenübergestellt werden.
Standardisierung fördern
Standardisierungs- und Normungsprozesse sind in vielen Wirtschaftssektoren bewährte Mittel, um den
Austausch von Unternehmen zu fördern und Produkte und Dienstleistungen schnell und unkompliziert am
Markt zu etablieren. Auch gelingt es dadurch häufig, Technologien über Branchengrenzen hinweg zu
verbinden. Entsprechend hoch sind auch die Erwartungen, im Bereich KI mit Standardisierung und Normung
erfolgreich zu agieren. Einen Anpassungsbedarf sieht die Enquete-Kommission hier u. a. in Regelungen oder
Standards, die für die Einführung von KI in die Prozesse und in die Produkte der Industrie gegeben werden.
Innovation und Experimentierräume
Experimentierräume, auch als Sandboxes bezeichnet, sind ein mehrfach genanntes Mittel, um KI-Innovation
voranzubringen. Experimentierräume werden benötigt, um KI-Technologien in realen Umgebungen sicher
erproben und weiterentwickeln zu können. Dies unterstützt auch den oft geforderten schnellen Transfer von
Forschungsergebnissen in die Anwendung. Besonders in den Projektgruppen Wirtschaft, Mobilität und
Gesundheit, aber auch im Kapitel Forschung wurden Experimentierräume als probates Mittel genannt. Der
Gesetzgeber muss flankierend den rechtlichen Rahmen definieren und die Ausweisung von
Experimentierräumen unterstützen.
Digitale Infrastruktur als Voraussetzung für den Einsatz von KI
Um KI in verschiedenen Sektoren nutzbar zu machen, ist eine leistungsfähige digitale Infrastruktur in der
Verwaltung (siehe den Bericht der Projektgruppe „KI und Staat“ in Kapitel C. III. [Künstliche Intelligenz
und Staat (Projektgruppe 2)]), im Gesundheitswesen (siehe Kapitel den Bericht der Projektgruppe „KI und
Gesundheit“ in C. IV. [Künstliche Intelligenz und Gesundheit (Projektgruppe 3)]), in Bildungseinrichtungen
und flächendeckend im Land zwingend. Bund und Länder müssen hier noch stärker zusammenwirken, um
bestehende Lücken in der Breitbandversorgung, aber auch in Hard- und Software in öffentlichen
Einrichtungen zu schließen.
Die nachfolgenden Kapitel zitieren ausgewählte Handlungsempfehlungen aus dem Gesamtbericht in
gekürzter Form. Ziel dieser Aufstellung ist es, den Leserinnen und Lesern beim Identifizieren und Auffinden
von zentralen Handlungsempfehlungen zu unterstützen.
Deutscher Bundestag – 19. Wahlperiode
– 29 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

1
Daten
4
Daten spielen für KI-Systeme in der Anwendung, beim Testen, vor allem aber beim Training eine zentrale
Rolle. Deshalb finden sich in vielen Berichtsteilen Handlungsempfehlungen, um den Umgang mit Daten zu
verbessern. Die hier exemplarisch aufgeführten Handlungsempfehlungen beschäftigen sich mit der besseren
Verfügbarkeit durch Trust Center, höherer Interoperabilität durch Standards, der Förderung von Open Data
und der Präzisierung von Datenschutzregelungen.
Verfügbarkeit von Daten
Zusätzliche politische Maßnahmen können die Datenverfügbarkeit auch außerhalb von Regierung und
Verwaltung verbessern. So fehlen in der Wissenschaft oft die Ressourcen, in Forschungsprojekten erhobene
Daten breiter zugänglich zu machen. Der Austausch von Daten zwischen Unternehmen oder ihre gemeinsame
Nutzung ist mit Rechtsunsicherheit, insbesondere in Bezug auf das Kartellrecht, verbunden. Hier besteht
Handlungsbedarf, der von der Enquete-Kommission u. a. in der Förderung eines freiwilligen Teilens von
Daten oder in der Gestaltung von Datenzugangsrechten gesehen wird.
5
Datenverwendung
Die [Enquete-Kommission] erwartet, dass durch die Verbreitung von vertrauensschaffenden Konzepten zur
Anonymisierung und Pseudonymisierung von Daten die Menge verfügbarer Trainingsdaten steigen könnte.
Daher empfiehlt sie, Trust-Strukturen zum interdisziplinären, vertrauenswürdigen Austausch nicht
personenbezogener Daten aufzubauen.
6
Datenfreigabe
Die [Enquete-Kommission] empfiehlt, eine abgestufte, freiwillige und widerrufbare Datenfreigabe in enger
Abstimmung mit den Datenschutzaufsichtsbehörden zu ermöglichen, abgestimmte, interoperable und, wo
möglich, offene Standards […] zu nutzen, ein nationales Versorgungsregister bzw. einen Registerverbund
und die dazugehörigen dezentralen Vertrauensstellen aufzubauen und die Datenschutzgesetzgebung für den
Gesundheitsbereich auf Grundlage der Datenschutzgrundverordnung (DSGVO) schnell zu vereinheitlichen.
7
Vernetzte Dateninfrastruktur
Die Abhängigkeit von außerhalb der EU ansässigen Anbietern lässt sich nur durch den Aufbau bzw. die
Stärkung eigener Kompetenzen reduzieren. Hier verfügt die Verwaltung in der Beschaffung über einen
wichtigen Hebel. Zusätzlich sollten Kompetenzen europäischer Unternehmen in diesem Bereich gestärkt
werden. Mit der GAIA-X-Initiative hat die Bundesregierung eine europäische Initiative zum Aufbau einer
vernetzten Dateninfrastruktur gestartet. Im Forschungsbereich soll der Aufbau einer Nationalen
Forschungsdateninfrastruktur Kompetenzen beim Forschungsdatenmanagement vernetzen und stärken.
Beim Aufbau von Infrastrukturen ist auf nachhaltige Verwendung von Ressourcen zu achten.
8
Datenstandards fördern Interoperabilität
Datenstandards befördern die organisationsübergreifende Nutzung von Daten und unterstützen breite
Anwendungsmöglichkeiten von bzw. Interoperabilität zwischen KI-Systemen. Auch das Zusammenführen
von Datensätzen aus unterschiedlichen Quellen wird mithilfe von Standards vereinfacht. Die Enquete-
Kommission empfiehlt daher, die dezentralen Datenbestände, z. B. in Wertschöpfungsketten,
Forschernetzwerken und öffentlichen Verwaltungen, stärker interoperabel zu vernetzen. Hierfür sollten
Leitinitiativen zur dezentralen Datenvernetzung, wie die International Data Spaces, die oben bereits genannte
4
Zu diesem Kapitel liegt ein Sondervotum aus der Fraktion der CDU/CSU vor [Sondervotum zu Kapitel 1 der Kurzfassung des
Berichts („Daten“) sowie Kapitel 5.7 des Mantelberichts („KI und Recht – Handlungsempfehlungen“) des sachverständigen
Mitglieds Dr. Sebastian Wieczorek und der Abgeordneten Marc Biadacz, Hansjörg Durz, Ronja Kemmer, Jan Metzler, Stefan
Sauer, Prof. Dr. Claudia Schmidtke, Andreas Steier und Nadine Schön sowie der sachverständigen Mitglieder Susanne Dehmel,
Prof. Dr. Wolfgang Ecker, Prof. Dr. Alexander Filipović, Prof. Dr. Antonio Krüger und Prof. Dr. Jörg Müller-Lietzkow].
5
Siehe auch Kapitel 2.6 des Mantelberichts [Politischer Handlungsrahmen bezüglich KI und Daten].
6
Siehe auch Kapitel 5.4 des Berichts der Projektgruppe „KI und Wirtschaft“ [Handlungsempfehlungen zu Daten und
Plattformen].
7
Siehe auch Kapitel 1.4 des Berichts der Projektgruppe „KI und Gesundheit“ [Zehn Handlungsempfehlungen für die Entwicklung
und den Einsatz von KI im Gesundheitsbereich].
8
Siehe auch Kapitel 5.4 des Berichts der Projektgruppe „KI und Wirtschaft“ [Handlungsempfehlungen zu Daten und
Plattformen].
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 30 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Nationale Forschungsdateninfrastruktur oder die Open Knowledge Foundation, durch entsprechende
gesetzliche Rahmenbedingungen und gezielte Förderung unterstützt werden.
9
Weiterentwicklung der Open-Data-Gesetzgebung
Auch eine Weiterentwicklung der höchst unterschiedlichen Open-Data-Gesetzgebung im Bund, in den
Ländern und in Europa ist für die Entwicklung einer Datenpolitik zentral. Sie muss den Grundrechtsschutz
betonen und als Alternative zu Datenmodellen positioniert werden, die wie in China von staatlichen
Sicherheits- und Kontrollinteressen getrieben und wie in den USA stark von den Interessen großer
Internetplattformen und der Tech-Industrie geprägt sind.
10
Datenschutz
Die durch die DSGVO erreichte Balance zwischen Datenschutz und Innovation sollte erhalten werden.
Rechtsunsicherheiten, die sich bei der Interpretation der DSGVO-Vorschriften mit Blick auf die
Funktionsweise von KI-Systemen noch ergeben, sollten geklärt werden. In Teilen sollte das durch eine
Konkretisierung der Vorgaben durch die in der DSGVO vorgesehene regulierte Selbstregulierung, also in
Form von Codes of Conduct und Zertifizierungen, geschehen. Die Selbstverpflichtungen sollten nach fünf
Jahren evaluiert und bei Bedarf durch geeignete gesetzliche Regelungen ersetzt werden. Zum anderen sollten
Probleme durch Klarstellung beseitigt werden, die im Rahmen der DSGVO-Evaluierung festgestellt werden.
Die Grundprinzipien der DSGVO bleiben dabei unberührt. [...] Der Versuch, aus anonymisierten Daten
Rückschlüsse auf Personen zu ziehen, ist bisher nicht strafbar. Geprüft werden sollte, ob und inwieweit es
sinnvoll wäre, das vorsätzliche De-Anonymisieren von Daten unter Strafe zu stellen.
11
2
Forschung
Auf vielen Teilgebieten der KI hat die Forschung in Deutschland international einen ausgezeichneten Ruf.
Europa als Ganzes ist je nach Datenlage auf Augenhöhe mit den USA und China. Deutschland hat in der
Spitzenforschung Nachholbedarf, sowohl im Vergütungssystem, den Forschungsbedingungen als auch bei
der nachhaltigen Gewinnung von ausländischen Forschenden bzw. dem Halten der hier ansässigen. Führende
deutsche Forschungseinrichtungen sind im internationalen Vergleich wenig sichtbar. Durch gezielte
zusätzliche Investitionen könnte Deutschland eigene Schwerpunkte setzen, die an bestehenden Stärken
ansetzen und ausgewählte Kernthemen von gesamtgesellschaftlicher Relevanz besonders entwickeln (siehe
Kapitel 9.1 [Einleitung und Überblick], Kapitel 9.4.1 [Welche Stärken hat die KI-Forschung in
Deutschland?], Kapitel 9.4.2 [Welche Probleme hat die KI-Forschung in Deutschland?], Kapitel 9.4.3
[Welche Potenziale können erschlossen werden?] und Kapitel 9.5 [Zentrale Handlungsempfehlungen für den
Staat] des Mantelberichts).
Werte
Gesellschaftliche Werte und das Wohlergehen der Menschen sowie der Erkenntnisgewinn müssen im
Mittelpunkt der Bestrebungen von Wissenschaft und Forschung stehen. Die Ergebnisse und die darauf
basierenden Anwendungen sollen nachhaltig, vertrauenswürdig und ressourcenbewusst sein.
12
Förderung
Um an der Gestaltung von KI mitwirken zu können, muss Deutschland gemeinsam mit anderen europäischen
Staaten deutlich mehr Ressourcen in die Forschung zu KI investieren und so die Technologiesouveränität
sichern. Dabei sind nicht nur nationale Leuchttürme wichtig und notwendig, sondern es müssen auch die
europäischen Bestrebungen der Zentrumsbildung, welche auf breiten Forschungs- und Industrienetzwerken
aufbauen, unterstützt werden. Dazu gehört auch, die Attraktivität des Forschungsstandortes Deutschland für
internationale Forschende zu erhöhen. Auch muss die KI-Grundlagenforschung in Algorithmik, Systemen,
Hardware und Software ausgebaut und nachhaltig in Universitäten und Forschungsinstitutionen verankert
9
Siehe auch Kapitel 2.6 des Mantelberichts [Politischer Handlungsrahmen bezüglich KI und Daten].
10
Siehe auch Kapitel 2.6 des Mantelberichts [Politischer Handlungsrahmen bezüglich KI und Daten].
11
Siehe auch Kapitel 5.7 des Mantelberichts [Handlungsempfehlungen].
12
Siehe auch Kapitel 9.2. [Leitlinien] und Kapitel 9.5 [Zentrale Handlungsempfehlungen für den Staat] des Mantelberichts.
Deutscher Bundestag – 19. Wahlperiode
– 31 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

werden. Emerging Fields, also Felder mit hohem Entwicklungs- und Erfolgspotenzial, müssen bereits jetzt
aufgebaut und stark gefördert werden.
13
Transfer
Die Zusammenarbeit zwischen Forschung, Wirtschaft und Gesellschaft ist essenziell, um Technologien aus
der Forschung heraus auf den Markt und in die Gesellschaft zu tragen. Ein zentrales Thema hierbei ist das
Bereitstellen von Daten und Technologien, die für die Forschung notwendig sind. In den Universitäten und
Forschungsinstitutionen sollten, um den Transfer zu ermöglichen, Prozesse vereinfacht und Sonderregeln für
die Zusammenarbeit mit Start-ups entwickelt werden. Damit die gesamte Gesellschaft von den Fortschritten
der KI-Forschung profitiert, sind der Aufbau und die Vernetzung einer leistungsstarken und
flächendeckenden Forschungsinfrastruktur nötig.
14
Forschungsthemen
Die Chance und die Herausforderung für die Forschungsförderung im Bereich von KI bestehen darin, in den
Bereichen Grundlagenforschung und Anwendungen mittel- bis langfristige Themen zu identifizieren, die von
großer strategischer, wirtschaftlicher und gesellschaftlicher Bedeutung sind. Dazu gehören insbesondere
neben den Grundlagen der KI-Algorithmen und KI-Systeme die Energieversorgung, die industrielle
Fertigung, der Verkehr und die Logistik, Smart Cities, E-Demokratie und der gesellschaftliche Diskurs, die
Bildung und Weiterbildung, die soziale Inklusion durch Assistenz- und Kommunikationssysteme, die
Sicherheit und Verteidigung, diagnostische Verfahren und insgesamt die Verbesserung von Prävention,
Intervention und Versorgung im Bereich Gesundheit. Zu erforschen sind auch die Mechanismen und
Auswirkungen von algorithmisch personalisierten Nachrichten, Microtargeting, Filterblasen und Hate
Speech.
15
3
Nachhaltigkeit durch KI und nachhaltige KI
Nachhaltigkeit in einem umfassenden Verständnis war Thema in fast allen Projektgruppen der Enquete-
Kommission. Verschiedene Aspekte der sozialen, ökonomischen und ökologischen Dimension von
Nachhaltigkeit wurden zudem im Mantelbericht (siehe Kapitel 7. 3 [Entwicklung und Einsatz von KI-
Systemen im Sinne von Nachhaltigkeit und Wohlstand] und Kapitel 8 [KI und ökologische Nachhaltigkeit]
des Mantelberichts) beschrieben.
KI-Systeme können zu einer nachhaltigen Entwicklung der Mobilität (siehe Kapitel 4.1 des Berichts der
Projektgruppe „KI und Mobilität“ [Zukunft der Mobilität]), zu einem effizienteren Umgang mit Ressourcen
und einer gelingenden Energiewende (siehe Kapitel 8.3 des Mantelberichts [Potenziale von KI für das
Vorantreiben der Energiewende]) beitragen und so auch das Erreichen der Klimaziele unterstützen. Die
Enquete-Kommission befürwortet, dass KI-Systeme auch gezielt genutzt werden, um gesellschaftlichen
Fortschritt – z. B. weniger Diskriminierung, mehr Chancengerechtigkeit, bessere Arbeitsbedingungen und
ein Erreichen der UN-Nachhaltigkeitsziele (SDGs) – zu unterstützen.
Gleichzeitig gilt es zu berücksichtigen, dass der Einsatz von KI-Lösungen nicht per se wirtschaftlich,
ökologisch und sozial nachhaltig ist. Hier müssen klare Rahmenbedingungen dafür sorgen, dass nachhaltige
Innovationen gefördert werden (siehe Kapitel 8.6 des Mantelberichts [Fazit]).
Nachhaltiger und wohlstandsorientierter Einsatz von KI
KI bietet vielfältige Potenziale bei der Lösung drängender Zukunftsprobleme – vom Klimawandel bis zum
demographischen Wandel. Ob sich solche Potenziale realisieren, hängt wesentlich davon ab, ob es eine
gezielte Förderung solcher Ansätze auf Ebene der Forschungs- und der Wirtschaftsförderung insbesondere
in Feldern gibt, die noch nicht marktreif sind.
16
Marke Sustainable AI
13
Siehe auch Kapitel 9.2. [Leitlinien] und Kapitel 9.5 [Zentrale Handlungsempfehlungen für den Staat] des Mantelberichts.
14
Siehe auch Kapitel 9.2. [Leitlinien] und Kapitel 9.5 [Zentrale Handlungsempfehlungen für den Staat] des Mantelberichts.
15
Siehe auch Kapitel 9.6 des Mantelberichts [Zukunftsthemen], Kapitel 2.3 des Berichts der Projektgruppe „KI und Staat“
[Handlungsempfehlungen und Operationalisierung], Kapitel 5.1 [Wachstum, Wertschöpfung und Nachhaltigkeit mit und durch
KI] und 5.2 [Unterstützung der KI-Akteure] des Berichts der Projektgruppe „KI und Wirtschaft, Kapitel 4.2.5 des Berichts der
Projektgruppe „KI und Gesundheit“ [Handlungsempfehlungen] und Kapitel 6.2 des Berichts der Projektgruppe „KI und Medien“
[Personalisierung].
16
Siehe auch Kapitel 7.4, Nummer 6 des Mantelberichts [Handlungsempfehlungen].
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 32 –
Vorabfassung
wird
durch
die
endgültige
Fassung
ersetzt.

Empfohlen wird, das (Markt-)Potenzial einer Marke „Sustainable AI“ (siehe Kapitel 1 des Berichts der
Projektgruppe „KI und Wirtschaft“ [Kurzfassung des Projektgruppenberichts]), also von KI-Anwendungen,
die hinsichtlich des Energie- und Ressourceneinsatzes und des Effizienzpotenzials im Einsatz optimiert sind,
bei der Weiterentwicklung der KI-Strategie zentral zu berücksichtigen. Damit einhergehend wird mehr
Forschung zur systematischen Analyse des CO
2
-Minderungspotenzials durch KI-Anwendungen in den
Schlüsselsektoren Energie, Industrie, Landwirtschaft, Wohnen und Mobilität empfohlen. Suffizienzfragen
sollen dabei beachtet werden.
17
Verbesserung der Datenbasis zum Energieverbrauch und nachhaltige IT
Empfohlen wird eine Verbesserung der Datenbasis über den Beitrag von KI-Anwendungen zur Entwicklung
des Energieverbrauchs und zwar sowohl hinsichtlich positiver wie negativer Effekte. Die Enquete-
Kommission empfiehlt weiter eine stärkere Förderung von nachhaltiger IT als infrastrukturelle
Voraussetzung für die Verringerung des ökologischen Fußabdrucks von KI.
18
4
Wirtschaft und Arbeit
19
Die disruptive Natur von KI-Technologien ermöglicht nicht nur komplett neue Produkte, sondern auch
neuartige Geschäftsmodelle. Neue Konkurrenten für etablierte Firmen werden erscheinen, aber auch die
Chance für neue Geschäfte geboten. Als Schlüsselprobleme für die Durchsetzungsfähigkeit der deutschen
wie europäischen Ansätze im KI-Bereich wurden die ausbleibende schnelle Skalierung von Ideen und Piloten
zu wirkungsvollen Großprojekten und Akteuren, der verzögerte digitale Infrastrukturausbau in der Fläche
und die fehlende technologische Souveränität etwa mit Blick auf die Entwicklung von Rechenleistungen
(inkl.
Hardware
und
Quanten-Computing),
Cloud-Strukturen
oder
Datenpooling
identifiziert.
Handlungsempfehlungen, die diese Themen adressieren, finden sich im Bericht der Projektgruppe „KI und
Wirtschaft“ in Kapitel C II [Künstliche Intelligenz und Wirtschaft (Projektgruppe 1)].
Die KI ermöglicht auch neue Formen der Automatisierung, die einerseits monotone, gefährliche oder
anstrengende Tätigkeiten durch Maschinen erledigen lassen, die aber auch andererseits Arbeitsplätze
wegfallen und neue mit anderen Anforderungen entstehen lassen. Auch ermöglicht die KI neue Verfahren
der Personalführung.
Systematisches Monitoring von KI
Die wirkungsvolle strategische Steuerung des Zukunftsthemas KI durch Recht und Politik setzt voraus, dass
eine fundierte Stärken-Schwächen-Analyse vorliegt und realistische technische wie wirtschaftliche
Erwartungen bestehen. Die Enquete-Kommission regt daher an, für Deutschland (und Europa) eine valide,
differenzierende Datenbasis zu den ökonomischen Effekten des KI-Einsatzes als Entscheidungsgrundlage zu
erstellen. Zudem sollte ein dynamisches Ziel- und Monitoringsystem entworfen werden, welches eine
weisungsbefugte zentrale Steuerungsstruktur für KI unterstützt. Um den Strukturwandel besser vorbereiten
und gestalten zu können, sind evidenzbasierte Forschung und belastbare Prognosen für die ökonomischen
und Beschäftigungseffekte des KI-Einsatzes unerlässlich. Neben den Aktivitäten des KI-Observatoriums sind
spezielle Förderprogramme zur systematischen Erfassung und Analyse der arbeitsmarktrelevanten
Auswirkungen von KI aufzulegen.
20
Start-ups als Treiber für die KI-Transformation
Start-ups werden als wesentlicher Treiber für die KI-Transformation gesehen. Entsprechend werden
verschiedene Empfehlungen zur Stärkung eines KI-Startup-Ökosystems gegeben. Dazu gehören Maßnahmen
wie Fonds und Fördermöglichkeiten in der Wachstumsphase junger Unternehmen durch die EU, den Bund
und die Länder ebenso wie Vorschläge zur Verbesserung des Transfers aktueller Forschung in neue
Geschäftsmodelle durch Spin-off-Prozesse und Forschungsausgründungen. Eine vermehrte Vergabe von
Aufträgen der öffentlichen Verwaltung an deutsche Start-ups wird nicht nur als Stärkung des Startup-
17
Siehe auch Kapitel 8.7, Nummer 2 des Mantelberichts [Handlungsempfehlungen].
18
Siehe auch Kapitel 8.7 Nummer 3 und 5 des Mantelberichts [Handlungsempfehlungen].
19
Zu diesem Kapitel liegt ein Sondervotum aus der Fraktion DIE LINKE. vor [Sondervotum zu Kapitel 4 der Kurzfassung des
Berichts („Wirtschaft und Arbeit“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des sachverständigen Mitglieds Dr.
Florian Butollo].
20
Siehe auch Kapitel 1 des Projektgruppenberichts „KI und Wirtschaft“ [Kurzfassung des Projektgruppenberichts] und Kapitel 1
des Projektgruppenberichts „KI und Arbeit, Bildung, Forschung“ [Kurzfassung des Projektgruppenberichts].
Deutscher Bundestag – 19. Wahlperiode
– 33 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Ökosystems, sondern auch als Enabler für die stärkere Zusammenarbeit zwischen KI-Start-ups und
mittelständischen Unternehmen angesehen. Hierfür ist es notwendig, dass Hürden zur Teilnahme an
Vergabeprozessen weiter gesenkt und diese Start-up-freundlich gemacht werden, z. B. durch weiteren
Bürokratieabbau, schnelle Vergabeentscheidungen und innovationsfördernde Vergabeverfahren, angelehnt
an den „wettbewerblichen Dialog” und an „Innovationspartnerschaften“ nach europäischem Vergaberecht.
21
Anreize für KMU / Wirtschaftsförderung
Mit Blick auf KMU sollten die Beratung und konkrete Unterstützungsleistungen beim Technologie-Scouting
sowie bezüglich des Transfers durch die Mittelstand-4.0-Kompetenzzentren, KI-Trainerinnen und -Trainer
und spezifische Qualifizierungsmaßnahmen intensiviert werden. Wesentlich erscheint die Schaffung von
Datenpools, etwa in Form interdisziplinärer Datengenossenschaften, sowie die weitere Förderung regionaler
Cluster und Hubs. Zudem sollten für KMU stärkere Anreize geschaffen und Möglichkeiten aufgezeigt
werden, wie nicht personenbezogene bzw. anonymisierte Daten sicher und gemeinschaftlich mit anderen
Unternehmen und Organisationen geteilt werden können, um hieraus für alle Beteiligten Mehrwerte zu
generieren, z. B. durch Trust-Center für den Datenaustausch oder Schaffung interdisziplinärer
Datengenossenschaften [...]. So können Konzentrationseffekte und Monopolisierungstendenzen in der
Datenökonomie eingeschränkt werden, die großen internationalen Akteure (insb. GAFAM) aufgrund ihrer
umfangreichen Datenbestände und Daten-Expertise einen Wettbewerbsvorteil im KI-Markt verleihen.
22
KI-Moonshot-Projekte
KI bietet vielfältige Potenziale zur Lösung drängender Zukunftsprobleme. Ob sich solche Potenziale
realisieren, hängt aber wesentlich davon ab, ob es eine gezielte Förderung solcher Ansätze auf der Ebene der
Forschung und der Wirtschaftsförderung gibt, insbesondere in Feldern, die noch nicht marktreif sind oder
deren Anwendung bislang nicht durch wettbewerbliche Anreize belohnt wird. Als Instrument hierfür wird
vorgeschlagen, gesellschaftlich wünschenswerte „KI-Moonshot-Projekte“ zu fördern und umzusetzen.
23
Transfer fördern
KI ist mehr als nur eine Technologie; die dadurch bewirkten Veränderungen wirken bereits in einigen
Branchen und Märkten disruptiv, in anderen Bereichen sind Veränderungen mit hoher Wahrscheinlichkeit
zu erwarten. [...] Politik und Staat müssen diese Transformation mitgestalten. Die Enquete-Kommission
empfiehlt, die Beratung für Unternehmen zur Transformation der eigenen Geschäftsprozesse und -modelle
und den Austausch von Best Practices [...] weiter auszubauen, vorhandene dezentrale KI-Ressourcen auf
einer Plattform unter neutraler, nicht-kommerzieller Federführung und mit politischer Flankierung
zusammenzuführen und „Regulatory Sandboxes“ […] bzw. freie Experimentierräume einzurichten, die
Forscherinnen und Forschern unter geeigneten Voraussetzungen zur Durchführung von Realexperimenten
dienen können.
24
Mit KI gute Arbeit sichern
Um Potenziale für Emanzipation, Nachhaltigkeit und gute Arbeit zu fördern und Risiken für Beschäftigte
durch Entwertung ihrer Fähigkeiten, ihrer Persönlichkeitsrechte und ihrer beruflichen Anschlussfähigkeit zu
minimieren sowie ungerechtfertigte Kontrolle, Entmündigung, Arbeitsverdichtung und Arbeitsplatzverluste
zu vermeiden, braucht die Arbeitsgestaltung besondere Leitvorstellungen. Es ist sinnvoll, die Einflussnahme
des Gesetzgebers und der weiteren Normsetzungsakteure unter anderem auf folgende Ziele auszurichten: Das
Potenzial von KI zur Produktivitätssteigerung und zur Steigerung des Wohlergehens der Erwerbstätigen
sollte genutzt werden, neue Geschäftsmodelle zu entwickeln und zu fördern, die zur Beschäftigungssicherung
und zum Beschäftigungsausbau beitragen, „Gute Arbeit by Design“ zu entwickeln und vorrangig eintönige
oder gefährliche Aufgaben an Maschinen zu übertragen,[…] und dafür zu sorgen, dass der Mensch als
soziales Wesen an seinem Arbeitsplatz die Möglichkeit hat, sozial mit anderen Menschen zu interagieren,
menschliches Feedback zu erhalten und sich als Teil einer Belegschaft zu begreifen.
25
21
Siehe auch Kapitel 5.1.3 des Projektgruppenberichts „KI und Wirtschaft“ [Technologische Souveränität].
22
Siehe auch Kapitel 1 [Kurzfassung des Projektgruppenberichts] und Kapitel 5.2 [Innovation und Start-ups: Start-up-
Ökosysteme, Start-up-Förderungen] des Projektgruppenberichts „KI und Wirtschaft“.
23
Siehe auch Kapitel 7 des Mantelberichts [KI und Gesellschaft] und Kapitel 5.1 des Berichts der Projektgruppe „KI und
Wirtschaft“ [Wachstum, Wertschöpfung und Nachhaltigkeit mit und durch KI].
24
Siehe auch Kapitel 5.2 des Berichts der Projektgruppe „KI und Wirtschaft“ [Unterstützung der KI-Akteure].
25
Siehe auch Kapitel 3.3.1 des Berichts der Projektgruppe „KI und Arbeit, Bildung, Forschung [Leitvorstellungen].
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 34 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Mitbestimmung modernisieren
Die Akzeptanz unter den Beschäftigten und die erfolgreiche Implementierung von KI hängt maßgeblich von
frühzeitiger
Information
und
Beteiligung
ab.
Zur
Wahrung
von
Einflussmöglichkeiten
von
Arbeitnehmerinnen und Arbeitnehmern beim Schutz ihrer Persönlichkeitsrechte, der Vermeidung von
Überlastung,
der
Bewältigung
von
betrieblicher
Transformation
und
der
Gestaltung
von
Beschäftigungsbedingungen ist ein Update der Mitbestimmung erforderlich, das der technischen
Entwicklung Rechnung trägt und die bisherige Balance zwischen Arbeitnehmerrechten und
Eigentumsrechten fortentwickelt. Um dem Prozesscharakter lernender Maschinen gerecht zu werden und um
vorausschauend, wirksam und schnell zu wirken, muss die betriebliche Mitbestimmung auf das Konzept der
Entwicklung, des Einsatzes und der Fortentwicklung der Systeme ausgerichtet sein. Sie muss sich außerdem
der normativen Wirkung aller wesentlichen Fragen der Persönlichkeitsrechte annehmen können und einen
wirksamen Einfluss auf die Arbeitsmenge, die Arbeitsorganisation und die Qualifizierung eröffnen, die sich
im Zusammenhang mit dem Einsatz von KI-Systemen ergeben.
26
Bedingungen der KI-Anwendung im Personalwesen
Beim Einsatz von KI-Anwendungen muss gewährleistet sein, dass Menschen weiterhin in Personalfragen
entscheiden. In der Personalverwaltung dürfen für die Nutzung in automatisierten Programmen oder KI-
Lösungen keine Daten erhoben und verwendet werden, welche der willentlichen Steuerung der Betroffenen
grundsätzlich entzogen sind.
27
Weiterentwicklung der sozialen Sicherungssysteme
Die zunehmende Verbreitung von KI-Systemen in Wirtschaft und Gesellschaft gibt einer bereits laufenden
Debatte um die Weiterentwicklung der sozialen Sicherungssysteme zusätzliche Bedeutung. Die Empfehlung
lautet, in der nächsten Legislaturperiode des Deutschen Bundestages eine Expertenkommission zu dieser
Fragestellung einzurichten. Auf Grundlage empirischer Forschungsergebnisse soll geprüft werden, ob und
inwieweit für die sozialversicherungsrechtliche Einstufung schutzbedürftiger Mitarbeiterinnen und
Mitarbeiter bei Plattformunternehmen passende Kriterien und Regelungen geschaffen werden können.
28
5
Kompetenzen, Bildung, Mündigkeit
Nahezu alle Projektgruppen haben Empfehlungen zu notwendigen Investitionen für den Kompetenzaufbau
zu KI formuliert. Diese Empfehlungen betreffen alle Facetten des Bildungssektors, mit einem besonderen
Gewicht auf der Schaffung der notwendigen Voraussetzungen für KI (insbesondere in den MINT-Fächern
und “soft skills”), dem generellen Aufbau von Fähigkeiten zu KI bereits in der Schule – gleichermaßen für
Mädchen wie für Jungen – sowie der beruflichen Weiterbildung. In der Schule ist weiterhin zu betrachten,
ob und wie KI als unterstützende Maßnahme im Unterricht zum Einsatz kommen kann. Weiterhin geht es
um Maßnahmen, die einen mündigen Umgang der Gesellschaft mit KI ermöglichen.
Bildungspolitik um KI-spezifische Themen erweitern
Ein weiteres essenzielles Themenfeld ist die Bildungspolitik. Bei der Bildungspolitik ist der Staat gefordert,
umfangreiche Maßnahmen schon im schulischen Bereich zu initiieren, die die Bildung im Feld der KI,
insbesondere in den MINT-Fächern, aber auch im Sinne einer domänenübergreifenden, interdisziplinären
Bildung befördern, damit auch in der Folge genügend junge Menschen die Lehrangebote an den Hochschulen
vollumfänglich nutzen können. Nur dann kann mittel- bis langfristig eine hinreichend große Anzahl von KI-
Spezialistinnen und -Spezialisten, die in allen Bereichen benötigt werden, an den Hochschulen ausgebildet
werden und sowohl für die Forschung als auch für die Anwendung in Wirtschaft und Staat zur Verfügung
stehen.
29
Einsatz von KI-Systemen im Unterricht weiter erforschen
Um KI in Lernprozessen pädagogisch sinnvoll einzusetzen, sollte noch mehr erforscht werden, wie KI-
Systeme auf Lernende und Lehrende wirken und wie sie diese dabei unterstützen können, pädagogische Ziele
26
Siehe auch Kapitel 5.1.2.6 des Berichts der Projektgruppe „KI und Arbeit, Bildung, Forschung [Handlungsempfehlungen].
27
Siehe auch Kapitel 5.1.3.5 des Berichts der Projektgruppe „KI und Arbeit, Bildung, Forschung“ [Handlungsempfehlungen].
28
Siehe auch Kapitel 5.1.3.5 des Berichts der Projektgruppe „KI und Arbeit, Bildung, Forschung“ [Handlungsempfehlungen].
29
Siehe auch Kapitel 9.5 des Mantelberichts [Zentrale Handlungsempfehlungen für den Staat].
Deutscher Bundestag – 19. Wahlperiode
– 35 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

(u. a. Inklusion) zu erreichen. Bei der Einführung von KI-Systemen und der zugehörigen Dateninfrastruktur
ist eine medienpädagogische Prozessbegleitung zur Verfügung zu stellen.
30
Diversität fördern
Bestehende Ungleichgewichte, die zwischen Mädchen und Jungen bzw. Frauen und Männern im Hinblick
auf das Wissen über und die Anwendung von KI bestehen, sollen ausgeglichen werden. Dazu können sowohl
Schulen als auch Hochschulen Angebote entwickeln, die Mädchen und junge Frauen für Informatik und KI
interessieren und ihnen Gestaltungsmöglichkeiten mitgeben. Lehrkräfte sollen dafür in ihrer Ausbildung
sensibilisiert werden. Hochschulen sollen die Möglichkeiten von spezifischen Angeboten für Mädchen und
Jungen innerhalb von Informatikstudiengängen prüfen. Das Wissen in der Bevölkerung zu KI sollte inklusiv
erweitert werden, das heißt, die Heterogenität der Gesellschaft sollte ebenso wie die verschiedenen
Einsatzfelder berücksichtigt werden.
31
Aus- und Weiterbildungsangebote zu KI schaffen
Im Bereich Aus- und Weiterbildung müssen Bildungsangebote geschaffen werden, die die KI-Kompetenz
der Erwerbstätigen fördern. Diese Fortbildungsangebote sollten einheitliche Standards erfüllen. [...] Die
Stärkung der betrieblichen Weiterbildung ist zentral, um das durch KI immer wichtiger werdende lebenslange
Lernen zu ermöglichen. Dem Mismatch-Problem, das heißt dem gleichzeitigen Vorhandensein von
Jobverlusten und Fachkräftemangel auf dem Arbeitsmarkt, ist nur durch einen spürbaren Ausbau einer
funktionierenden Wissensinfrastruktur zu begegnen. Berufliche Weiterbildung ist eine bildungspolitische
Aufgabe und sie muss allen Menschen zugänglich sein.
32
Über den Einsatz von KI aufklären
Die Menschen müssen über Meinungsbildung, Befähigung, Transparenz, Teilhabe und Schutz bestmöglich
für die gesellschaftlichen Umbrüche (positiv wie negativ) infolge des Einsatzes von KI-Systemen vorbereitet
werden, um eine breite Akzeptanz für KI-Systeme zu erreichen. Ein wichtiges Handlungsfeld ist die
Förderung des Verständnisses und des Bewusstseins für die Chancen von KI-Systemen sowie bezüglich der
eigenen Kompetenz und des Wissens über deren Wirkungsmechanismen.
33
Allgemein verfügbare Weiterbildungsplattform für KI erstellen
Um die Bevölkerung in die Lage zu versetzen, grundlegende Zusammenhänge im Bereich KI zu verstehen
und die Funktionsweise einordnen zu können, sollte eine Weiterbildungsplattform entwickelt werden. […]
Dabei ist darauf zu achten, dass eine staatliche Weiterbildungsplattform verschiedene Angebote nicht nur
gebündelt darstellt, sondern dass der Zugang niedrigschwellig ist.
34
Auswirkungen von KI-Empfehlungen auf die Entscheidungsautonomie untersuchen
Es ist ungeklärt, welchen Einfluss die Empfehlungen von KI-Systemen auf die abschließende Entscheidung
des Menschen haben. So ist fraglich, ob und inwieweit Beschäftigte in der Verwaltung im Arbeitsalltag einer
KI-Empfehlung widersprechen und so zur Fehlervermeidung beitragen. Deshalb müssen die soziologischen
und
psychologischen
Auswirkungen
von
KI-Empfehlungen
auf
den
Menschen
in
seiner
Entscheidungsautonomie untersucht werden. KI-Systeme sollten stets so gestaltet sein, dass sie der
Autonomie der oder des Einzelnen nicht entgegenstehen. Hier besteht eindeutiger und interdisziplinärer
Forschungsbedarf, weshalb Untersuchungen zu dieser Thematik aktiv gefördert werden müssen.
35
6
Mensch und Gesellschaft
36
KI-basierte Systeme wirken sich schon heute auf das Verhalten und den Wissensstand von Individuen in
vielen Bereichen der Gesellschaft aus und sind damit also auch ein Faktor, der auf das kollektive Verhalten
30
Siehe auch Kapitel 5.2.8 des Berichts der Projektgruppe „KI und Arbeit, Bildung, Forschung“ [Handlungsempfehlungen].
31
Siehe auch Kapitel 5.2.8.1 des Berichts der Projektgruppe „KI und Arbeit, Bildung, Forschung“ [Lehrkräftebildung].
32
Siehe auch Kapitel 5.2.8.2 des Berichts der Projektgruppe „KI und Arbeit, Bildung, Forschung“ [Aus- und Weiterbildung].
33
Siehe auch Kapitel 7.4, Nummer 2 des Mantelberichts [Handlungsempfehlungen].
34
Siehe auch Kapitel 5.2.8.2 des Berichts der Projektgruppe „KI und Arbeit, Bildung, Forschung“ [Aus- und Weiterbildung].
35
Siehe auch Kapitel I. 3.1 des Berichts der Projektgruppe „KI und Staat“ [Auswirkungen von KI-Empfehlungen auf die
Entscheidungsautonomie untersuchen].
36
Zu diesem Kapitel liegt ein Sondervotum aus der Fraktion der CDU/CSU vor [Sondervotum zu Kapitel 6 der
Kurzfassung des Berichts („Mensch und Gesellschaft“) sowie Kapitel 4.2.6 des Berichts der Projektgruppe 6 „KI und
Medien“ („Medienmärkte und KI – Handlungsempfehlungen“) der Abgeordneten Ronja Kemmer und der Abgeordneten
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 36 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

wirkt. Beispiele sind die Navigation von Fahrzeugen und die Anzeige bzw. Empfehlung von Inhalten in
sozialen Netzwerken und auf Videoportalen. In vielen Kontexten hat die Enquete-Kommission über die
Gestaltungsprozesse und Gestaltung solcher Systeme diskutiert. Im Folgenden sind Handlungsempfehlungen
aus den Bereichen Mobilität und Medien aufgeführt, ein besonderer Fokus liegt auf den Themen
Meinungsfreiheit und –vielfalt, Diskriminierungsfreiheit, Transparenz und Nachvollziehbarkeit.
Ganzheitliche Betrachtung der Mobilität
Die Mobilität der Zukunft und damit auch KI-Anwendungen in der Mobilität müssen ganzheitlich betrachtet
werden. [...] Es gilt, die innovativen und zielführenden Anstrengungen in einem holistischen Ansatz zu
bündeln und somit die KI für den gesamten Mobilitätssektor voranzubringen. Dazu bedarf es einer stärkeren
Vernetzung in der Verkehrsplanung, in der Forschung und Entwicklung sowie auch in der rechtlichen
Rahmensetzung sowohl in Deutschland als auch in Europa.
37
Medienvielfalt erhalten
Der Wirkungsgrad bzw. die Hebelwirkung des Einsatzes von KI bei Empfehlungssystemen ist evident und
stärkt insbesondere Intermediäre in den Medienmärkten, selbst wenn sie keine eigenen medialen Inhalte
anbieten. [...] Will man die Medienvielfalt erhalten, bleibt aus dieser Perspektive als sinnvolles Instrument
– neben der Anwendung des Kartellrechts – die Einführung einer Digitalsteuer auf die KI-basierten Dienste
der Plattform- und Social-Media-Anbieter, die dadurch überproportional an den Werbemärkten teilhaben.
38
Begrenzung von politischem Microtargeting
Es sollte ähnlich wie bei der personalisierten Ansprache im Offline-Bereich (etwa bei postalischer
Wahlwerbung) Begrenzungen dafür geben, welche persönlichen Verhaltensdaten für politisches
Microtargeting genutzt werden dürfen. Diese Begrenzung sollte sowohl für das Targeting (durch die
Werbetreibenden) als auch für die Ausspielung (durch die KI der Plattformen) gelten. Hier sollten gesetzliche
Regeln die freiwilligen Maßnahmen einiger kommerzieller Plattformen ersetzen.
39
Uploadfilter vorerst ausschließen
Der unkontrollierte Einsatz von Uploadfiltern sollte weitestmöglich ausgeschlossen werden, wenn es um
kontextabhängige oder rechtlich nicht-triviale Einschätzungen geht. Das steht einer Verwendung von KI-
basierten Filtersystemen zur Vorsortierung im Vorfeld einer menschlichen Prüfung nicht entgegen. Eine
Verbesserung derzeit eingesetzter Systeme und eine regulatorische Begleitung ihres Einsatzes erscheinen vor
diesem Hintergrund wünschenswert, wobei eine Automatisierung der Rechtsdurchsetzung in jedem Fall zu
vermeiden ist. Eine automatisierte Löschung bzw. Nichtveröffentlichung sollte auf Fälle begrenzt sein, in
denen die Verbreitung spezifischer Inhalte unabhängig von jedem denkbaren Kontext unterbunden werden
soll.
40
Forschungstransfer im Bereich Diskriminierungserkennung
Zu Diskriminierungserkennung und -vermeidung in KI-Systemen wurde in den letzten Jahren viel geforscht.
Der nächste Schritt, der Transfer dieser Erkenntnisse in den Software-Entwicklungsalltag, sollte gefördert
werden, damit die Erkenntnisse möglichst schnell und breit umgesetzt werden können und durch Forschung
begleitet werden.
41
KI-gestützte Entscheidungen regelmäßig auf Diskriminierungsfreiheit überprüfen
Es muss sichergestellt werden, dass staatlich entwickelte und genutzte KI-Systeme […] nicht diskriminieren.
Es muss geprüft werden, ob die Daten in dem algorithmischen Entscheidungssystem in einem der
Anwendungsfelder zum Einsatz kommen, die grundrechtlich besonders geschützt sind und in denen es in
besonderem Maße auf Gleichbehandlung ankommt (z. B. Zugang zu Sozialleistungen). Dann muss das
Marc Biadacz, Hansjörg Durz, Jan Metzler, Stefan Sauer, Andreas Steier, Prof. Dr. Claudia Schmidtke und Nadine
Schön sowie der sachverständigen Mitglieder Susanne Dehmel, Prof. Dr. Wolfgang Ecker, Prof. Dr. Antonio Krüger
und Dr. Sebastian Wieczorek].
37
Siehe auch Kapitel 1.1.2 des Berichts der Projektgruppe „KI und Mobilität“ [Themenschwerpunkte].
38
Siehe auch Bericht der Projektgruppe „KI und Medien“ in Kapitel C. VII. [Künstliche Intelligenz und Medien (Projektgruppe
6)].
39
Siehe auch Kapitel 6.2.2 des Berichts der Projektgruppe „KI und Medien“ [Handlungsempfehlungen].
40
Siehe auch Kapitel 7.4.2.5.1 des Berichts der Projektgruppe „KI und Medien“ [Handlungsempfehlungen].
41
Siehe auch Kapitel 3.5, Nummer 1 des Mantelberichts [Handlungsempfehlungen].
Deutscher Bundestag – 19. Wahlperiode
– 37 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Ergebnis der maschinellen Entscheidung und […] das der finalen Entscheidung durch den Menschen
regelmäßig daraufhin untersucht werden, ob die Entscheidung diskriminierend ist.
42
KI-Einsatz transparent machen
Regeln für den Einsatz von KI müssen deswegen mit einem die Diversität der Gesellschaft reflektierenden
Blick und ggf. unter Beteiligung der Betroffenen erarbeitet werden. Je nach Kritikalität müssen Bürgerinnen
und Bürger über den Einsatz von KI informiert und generell für den Umgang mit KI gebildet werden. [..]
Dort, wo Menschen von den Folgen einer Entscheidung auf Basis eines KI-Systems betroffen sind, müssen
sie genügend Informationen erhalten, um ihre Rechte angemessen wahrnehmen und die Entscheidung ggf.
infrage stellen zu können.
43
7
Regulierung und Staat
Als ein durch den Gesetzgeber ins Leben gerufenes Gremium hat sich die Enquete-Kommission immer
wieder mit Regulierungsfragen in Bezug auf KI beschäftigt. Den größeren Rahmen für die Gestaltung von
KI bilden das Grundgesetz der Bundesrepublik Deutschland und die Grundrechtecharta der Europäischen
Union mit dem Begriff der Menschenwürde als Maßgabe für alle politische Gestaltung. Wie anhand der hier
aufgeführten Handlungsempfehlungen ersichtlich, ging es dabei u. a. um die Definition von Grundsätzen,
Fragen der Verhältnismäßigkeit, die Notwendigkeit von risiko- und sektorspezifischer Regulierung sowie
Haftungsfragen. Die generelle und ex ante Einteilung von KI-Systemen in Risikoklassen, wie von der
Datenethikkommission empfohlen, war in der Enquete-Kommission umstritten.
Vertrauen durch eine vertrauenswürdige KI aufbauen
Vertrauen ist ein wichtiger Erfolgsfaktor für KI. Daher muss beim Einsatz von KI-Systemen ausreichende
Nachvollziehbarkeit und Transparenz für Verbraucherinnen und Verbraucher sowie für Beschäftigte
geschaffen werden. Bedenken aus der Bevölkerung sollten aktiv angesprochen und durch geeignete
Aufklärung sowie durch Schutzmechanismen und Verpflichtungen ausgeräumt werden. Dabei muss darauf
geachtet werden, dass eine angemessene Balance zwischen Verbraucher- und Unternehmensinteressen
gefunden wird – Maßgaben müssen für beide Seiten transparent und handhabbar sein, um nicht
innovationshemmend zu wirken.
44
Wahrung der Verhältnismäßigkeit
Bei der Bewertung des Einsatzes von KI-Systemen im Bereich Innere Sicherheit sollte neben der Relation
von Kosten und Nutzen auch die Wahrung der Verhältnismäßigkeit von Maßnahmen geprüft werden. Hier
müssen die Grundrechte der Betroffenen sorgfältig abgewogen werden.
45
Sektorspezifische Regulierung
Bestehende sektorspezifische Regelungsregime sollten geprüft und um KI-spezifische Vorgaben erweitert
werden, sofern durch den Einsatz von KI im jeweiligen Einsatzkontext zusätzliche Risiken entstehen. [...]
Die Aufsicht und Durchsetzung von Vorgaben sollte primär jeweils den sektoralen Aufsichtsbehörden
zugewiesen werden, die bereits sektorspezifische Sachkompetenz ausgebildet haben.
46
Haftung
Das bestehende Haftungssystem ist nach Auffassung der Enquete-Kommission grundsätzlich geeignet, auch
durch KI-Systeme verursachte Schäden auszugleichen. Eine dringende Notwendigkeit, neue
Haftungstatbestände speziell für KI-Systeme zu schaffen, wird derzeit nicht gesehen. Bei der Normierung
von KI-Systemen sollte jedoch in besonderem Maße darauf geachtet werden, dass Vorgänge in KI-Systemen
nachvollziehbar und damit dem Beweis zugänglich sind.
47
Der Staat als Dienstleister
42
Siehe auch Kapitel I. 3.7 des Berichts der Projektgruppe „KI und Staat“ [KI-gestützte Entscheidungen regelmäßig auf
Diskriminierungsfreiheit überprüfen].
43
Siehe auch Kapitel 7.2 des Mantelberichts [Auswirkungen von KI-Systemen auf die Gesellschaft].
44
Siehe auch Kapitel 1 des Berichts der Projektgruppe „KI und Wirtschaft“ [Kurzfassung des Projektgruppenberichts].
45
Siehe auch Kapitel 3.1 des Berichts der Projektgruppe „KI und Staat“ [Innere Sicherheit].
46
Siehe auch Kapitel 4.5 des Mantelberichts [Handlungsempfehlungen].
47
Siehe auch Kapitel 5.5 des Mantelberichts [Haftungsrecht].
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 38 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

KI-Systeme sollten sowohl zur Entlastung von Bürgerinnen und Bürgern in der Informationsbeschaffung und
Antragstellung führen, als auch zur Entlastung von Verwaltungsmitarbeiterinnen und -mitarbeitern bei der
Bearbeitung. KI-Systeme sollten dabei unterstützen, den Serviceumfang um ein jederzeit zugängliches,
mehrsprachiges sowie barriere- und kostenfreies Leistungsangebot zu erweitern. KI-Systeme können
Barrierefreiheit erhöhen und Anspruch auf Teilhabe erfüllen. Bürokratische Hürden sollten gezielt mittels
KI-Systemen gesenkt werden, wodurch der Informationszugang und das Antragswesen grundlegend
vereinfacht werden können.
48
Internationale Ächtung tödlicher autonomer Waffensysteme
Die Bundesregierung muss sich auch in Zukunft auf internationaler Ebene rüstungskontrollpolitisch für eine
weltweite Ächtung von tödlichen autonomen Waffensystem einsetzen. Dabei muss ein Weg verfolgt werden,
mit dem eine möglichst große Gruppe von Staaten eingebunden werden kann.
49
48
Siehe auch Kapitel 1.1 des Berichts der Projektgruppe „KI und Staat“ [Einführung].
49
Siehe auch Kapitel 3.2.3 des Berichts der Projektgruppe „KI und Staat“ [Handlungsempfehlungen und Operationalisierung].
Deutscher Bundestag – 19. Wahlperiode
– 39 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

B. Allgemeiner Teil: Auftrag und Arbeitsweise
KI ist einer der wesentlichen technologischen Treiber der Digitalisierung und ein zunehmend wichtiger
Wirtschaftsfaktor und wird dabei die Gesellschaft nachhaltig verändern. KI-Systeme sind immer
leistungsfähiger: Sie können Prozesse selbstständig planen, Prognosen treffen und mit Menschen
interagieren. KI erlaubt es, die Vielzahl der heute gesammelten Daten auf neue Weise auszuwerten.
Unternehmen und Staaten wenden erhebliche Ressourcen auf, um sich diese Analysemöglichkeiten zunutze
zu machen. Damit verbunden sind Fragestellungen, die auf Grundlage unseres Wertesystems sowie der
Grund- und Menschenrechte beantwortet werden müssen.
50
Vor diesem Hintergrund haben sich CDU, CSU
und SPD im Koalitionsvertrag für die 19. Legislaturperiode an verschiedenen Stellen mit KI als
Zukunftstechnologie befasst
51
und die Einsetzung einer Enquete-Kommission im Deutschen Bundestag –
später unterstützt von anderen Fraktionen – vereinbart.
1
Einsetzung und Konstituierung der Enquete-Kommission
Die Bedeutung von KI wurde in der Debatte zur Beratung des Einsetzungsantrages der Fraktionen der
CDU/CSU, der SPD, der FDP und DIE LINKE.
52
in der 42. Sitzung des Deutschen Bundestages am
28. Juni 2018 von allen Rednerinnen und Rednern unterstrichen.
53
Der Einsetzungsantrag auf
Bundestagsdrucksache 19/2978 wurde daher einstimmig angenommen. Ein Änderungsantrag der Fraktion
BÜNDNIS 90/DIE GRÜNEN auf Bundestagsdrucksache 19/3016 wurde dabei gegen die Stimmen der
Fraktionen der AfD, DIE LINKE. und BÜNDNIS 90/DIE GRÜNEN sowie eines Abgeordneten der Fraktion
der FDP abgelehnt.
54
Die konstituierende Sitzung der Enquete-Kommission „Künstliche Intelligenz – Gesellschaftliche
Verantwortung und wirtschaftliche, soziale und ökologische Potenziale“ fand daraufhin am
27. September 2018 statt. Den Vorsitz der Enquete-Kommission übernahm die Abgeordnete Daniela Kolbe
(SPD), als Stellvertreter fungierte der Abgeordnete Stefan Sauer (CDU/CSU). Als Obleute wurden seitens
der Fraktionen folgende Mitglieder benannt:
für die Fraktion der CDU/CSU Ronja Kemmer, MdB
für die Fraktion der SPD René Röspel, MdB
für die Fraktion der AfD Uwe Kamann, MdB (inzwischen fraktionslos), ab Januar 2019 Joana Cotar,
MdB, bzw. ab November 2019 Peter Felser, MdB
für die Fraktion der FDP Mario Brandenburg, MdB
für die Fraktion DIE LINKE. Dr. Petra Sitte, MdB
für die Fraktion BÜNDNIS 90/DIE GRÜNEN Dr. Anna Christmann, MdB (von Dezember 2019 bis
April 2020 vertreten durch Dieter Janecek, MdB)
Bundestagspräsident Dr. Wolfgang Schäuble, der die Sitzung eröffnete, betonte die Bedeutung des Themas:
Die Dynamik der Digitalisierung habe mit der Forschung zur Künstlichen Intelligenz eine neue Dimension
erreicht. Auch wenn KI vielen als „neue Zauberformel des technischen Fortschritts“ gelte, gebe es aber auch
Warnungen mit Blick auf Gefahren wie die Überwachung durch KI-Systeme oder neue Formen der
Kriegsführung. Darum sei es wichtig zu verstehen, was KI eigentlich bedeute, was sie leisten könne und
welche Chancen und Herausforderungen für Staat, Gesellschaft und Recht entstünden. Dazu stelle sich die
Frage, wie diese Entwicklung so gestaltet werden könne, dass KI den Menschen diene. Das sei „kein kleiner
Auftrag“, sagte der Bundestagspräsident und dankte den Mitgliedern der Kommission für ihre Bereitschaft,
in dem Gremium mitzuarbeiten.
55
50
Ausführlich: BT-Drs. 19/2978, S. 1.
51
Schwerpunktmäßig im Kapitel „Offensive für Bildung, Forschung und Digitalisierung“, siehe Koalitionsvertrag zwischen CDU,
CSU und SPD, 19. Legislaturperiode, u.a. Zeilennummer 1488 ff.; 1770 ff.; 1917 ff.
52
Vgl. BT-Drs. 19/2978.
53
Vgl. Plenarprotokoll 19/42, S. 4149 ff.
54
Vgl. Plenarprotokoll 42/19, S. 4163.
55
Vgl. „heute im Bundestag“, hib-Meldung 712/18 vom 27. September 2018.
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 40 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

2
Zusammensetzung der Kommission
Der Enquete-Kommission gehörten 19 Mitglieder des Deutschen Bundestages und 19 Sachverständige an.
Für
die
parlamentarischen
Mitglieder
wurde
eine
gleich
große
Anzahl
stellvertretender
Kommissionsmitglieder benannt. Die 19 sachverständigen Mitglieder gehörten nicht dem Deutschen
Bundestag oder der Bundesregierung an. Sie wurden – wie auch die parlamentarischen Mitglieder – von den
im Deutschen Bundestag vertretenden Fraktionen benannt und vom Präsidenten des Deutschen Bundestages
in die Kommission berufen.
56
Die Benennungsrechte für die sachverständigen Mitglieder entsprachen dem
Stärkeverhältnis der Fraktionen in der Enquete-Kommission. Die Fraktion der CDU/CSU hat danach sieben,
die Fraktion der SPD vier und die Fraktionen der AfD, der FDP, DIE LINKE. und BÜNDNIS 90/DIE
GRÜNEN jeweils zwei Sachverständige benannt. Der Überblick über die Zusammensetzung der Enquete-
Kommission ist im Anhang 2.2.1 [Zusammensetzung der Enquete-Kommission] dargestellt.
3
Organisatorische und verwaltungsmäßige Begleitung der Kommissionsarbeit
Der Enquete-Kommission wurde von der Verwaltung des Deutschen Bundestages ein Sekretariat zur Seite
gestellt. Das Sekretariat war beauftragt, die organisatorischen und administrativen Kommissionsgeschäfte zu
erledigen sowie der Vorsitzenden und den Kommissionsmitgliedern zuzuarbeiten. Besonderes Gewicht lag
dabei auf der Planung, Organisation, Begleitung und administrativen Unterstützung der Sitzungen der
Enquete-Kommission und der sechs Projektgruppen. Bei der Erstellung der Berichtsbeiträge durch die
Mitglieder der Enquete-Kommission unterstützte das Sekretariat die Koordination der Produktion, die
Debatte, die Abstimmung und die redaktionelle Korrektur der Berichtselemente. Darüber hinaus
unterstützten und begleiteten Mitarbeiterinnen und Mitarbeiter der Fraktionen, der Abgeordneten und der
sachverständigen Mitglieder die Tätigkeit der Enquete-Kommission. Eine Übersicht über die beteiligten
Personen geben der Anhang 2.2.4 [Fraktionsreferentinnen und –referenten], der Anhang 2.2.5
[Mitarbeiterinnen und –Mitarbeiter der Mitglieder] und der Anhang 2.2.6 [Übersicht über die
Mitarbeiterinnen und Mitarbeiter des Kommissionssekretariats].
4
Arbeitsauftrag der Enquete-Kommission
Die Enquete-Kommission ist durch den Einsetzungsbeschluss beauftragt worden, in verschiedenen
Themenbereichen Chancen und Potenziale der KI sowie die damit verbundenen Herausforderungen zu
untersuchen und Antworten auf die Vielzahl an technischen, rechtlichen, politischen und ethischen Fragen
im Kontext von KI zu erarbeiten – unabhängig von und zusätzlich zu aktuellen Gesetzgebungsverfahren.
57
Zu diesen Themenbereichen zählten insbesondere:
der wissenschaftliche Rahmen – u. a. die Befassung mit Grundlagen und Arten von KI sowie den
Akteurinnen und Akteuren auf nationaler und internationaler Ebene
Staat, Gesellschaft und Demokratie – u. a. die Befassung mit Auswirkungen von KI auf
demokratische Prozesse sowie auf einzelne Politik- und Lebensbereiche wie die öffentliche
Verwaltung, Mobilität, Gesundheit oder Klima- und Verbraucherschutz
Werte und ethische Aspekte – u. a. die Herausarbeitung von ethischen Prinzipien für die
Entwicklung, Programmierung und den Einsatz von KI sowie Kriterien und Grenzen von KI-
basierten Entscheidungen zur Sicherstellung rechtmäßiger Ergebnisse
Wirtschaft – u. a. die Betrachtung von Veränderungen der Arbeitswelt, von Wertschöpfungsketten
sowie von Auswirkungen auf die Soziale Marktwirtschaft, auf die Tarifbindung und die
Mitbestimmung sowie auf die Konzepte zum Ausbau der Dateninfrastruktur, zum Datenschutz und
zur IT-Sicherheit
Bildung und Forschung – u. a. Möglichkeiten zur Stärkung und Weiterentwicklung der Grundlagen-
und Anwendungsforschung im Zusammenhang mit KI sowie zur Schaffung eines
innovationsfreundlichen Umfeldes
Kernaufgabe
der
Enquete-Kommission
war
es,
konkrete
Vorschläge
für
die
politischen
Entscheidungsträgerinnen und -träger zu erarbeiten und damit Impulse für die Erforschung, Entwicklung und
56
Vgl. § 56 der Geschäftsordnung des Deutschen Bundestages (GO-BT) in der Fassung der Bekanntmachung vom 25. März 2020
(BGBl. I S. 764).
57
Details vgl. BT-Drs. 19/2978, S. 2 f.
Deutscher Bundestag – 19. Wahlperiode
– 41 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Anwendung von KI in Deutschland zu setzen sowie Handlungsbedarfe national, auf europäischer Ebene und
international zu benennen.
58
5
Arbeitsweise der Enquete-Kommission
Zentral war der umfassende fachliche und politische Austausch zwischen den Abgeordneten und den
sachverständigen Mitgliedern der Enquete-Kommission. Zu spezifischen Aspekten wurde zusätzlicher
Sachverstand eingeholt.
59
Ein Überblick über die bis zur Verabschiedung des Berichts am 26. Oktober 2020
durchgeführten Sitzungen und Anhörungen sowie die angehörten Expertinnen und Experten ist im Anhang
2.4.11 [Anhörungsgäste der Enquete-Kommission] beigefügt.
Aufgrund der Auswirkungen der Covid-19-Pandemie fanden die Beratungen der Enquete-Kommission und
der Projektgruppen im Einvernehmen aller Fraktionen ab März 2020 nur noch virtuell per Videokonferenz
bzw. als hybride Sitzungen (physisch und digital)
60
, die Textarbeit an Berichtsteilen und die Abstimmung
von Änderungsanträgen weitestgehend im schriftlichen Verfahren statt.
Struktur der Arbeit
Entsprechend des Arbeitsauftrags strukturierte die Enquete-Kommission ihre Sitzungen und arbeitete sich
systematisch durch verschiedene Themengebiete, die sich im Bericht widerspiegeln: Begriffsklärung KI,
Einbettung in die nationale und internationale Debatte, gesellschaftliche Wahrnehmung und Akzeptanz,
Forschung und Entwicklung, Potenziale für Wirtschaft und Gesellschaft, rechtliche Perspektive, Daten und
Datenschutz, Nachhaltigkeit, Bias, Diskriminierung und Risiko sowie Fachkräftegewinnung.
61
Daneben
beschäftigte sich die Enquete-Kommission auch mit ethischen Aspekten; diese zogen sich – verkörpert durch
zentrale Begriffe wie Autonomie und Menschsein, Vertrauen und Gemeinwohl, Verantwortung und
Transparenz, Gerechtigkeit und Diskriminierungsfreiheit – als roter Faden und Klammer durch die
Beratungen der Themengebiete. Um den aktuellen Entwicklungen auch mit Blick auf den Arbeitsauftrag
angemessen Rechnung zu tragen, entschied die Enquete-Kommission außerdem, sich mit den spezifischen
Möglichkeiten und Chancen des Einsatzes von KI bei Pandemien zu beschäftigen; für diesen ergänzenden
Teil des Berichts wurden schriftliche Stellungnahmen externer Sachverständiger und verschiedener
Bundesministerien eingeholt.
62
Neben den ordentlichen Sitzungen fanden drei Klausurtagungen statt. Die erste – für einen Austausch zu
inhaltlichen und organisatorischen Fragen – wurde am 15. Oktober 2018 durchgeführt. Zentral war dabei die
Frage, wie der Begriff KI inhaltlich zu füllen und zu konkretisieren ist. Die zweite Klausurtagung am
14. Januar 2019 widmete sich vor allem der Strukturierung der Arbeit in den Projektgruppen und ethischen
Grundsatzfragen im Zusammenhang mit KI. Bei der dritten Klausurtagung am 29. und 30. November 2019
beschäftigte sich die Enquete-Kommission insbesondere mit der Erarbeitung projektgruppenübergreifender
Thesen und Handlungsempfehlungen zu den Bereichen Recht, Daten und Gesellschaft.
Textarbeit in Projektgruppen und weiteren Arbeitsgruppen
Aufgrund der thematischen Breite des Arbeitsauftrags entschieden die Mitglieder der Enquete-Kommission,
sich in parallel arbeitenden Projektgruppen mit den Auswirkungen von KI auf konkrete Lebensfelder zu
beschäftigten und daraus separate Berichtsteile und spezifische Handlungsempfehlungen zu entwickeln.
63
Am Einsetzungsantrag auf Bundestagsdrucksache 19/2978 orientiert, wurden sechs Projektgruppen mit
folgenden Themenbereichen eingesetzt:
58
Vgl. BT-Drs. 19/2978, S. 4.
59
Als Anhörungen in den Sitzungen der Enquete-Kommission und Projektgruppen oder in Form schriftlicher Stellungnahmen.
Details zu den Anhörpersonen ergeben sich aus den öffentlich zugänglichen Tagesordnungen der Sitzungen, die auf der Seite der
Enquete-Kommission im Internet auf
https://www.bundestag.de
veröffentlicht sind.
60
Zur Reichweite und zur rechtlichen Zulässigkeit § 126a Abs. 2 GO-BT sowie Beschlussempfehlung und Bericht des
Ausschusses für Wahlprüfung, Immunität und Geschäftsordnung auf Bundestagsdrucksache 19/18126.
61
Details ergeben sich aus den öffentlich zugänglichen Tagesordnungen der Sitzungen, die auf der Seite der Enquete-Kommission
im Internet
auf
https://www.bundestag.de
veröffentlicht
sind.
62
Details finden sich im Kapitel 10 des Mantelberichts [KI und SARS-CoV-2].
63
Vgl. Kommissionsdrucksachen 19(27)10 und 19(27)11 vom 11. Januar 2019.
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 42 –
Vorabfassung
wird
durch
die
endgültige
Fassung
ersetzt.

Projektgruppe 1:
KI und Wirtschaft (Industrie/Produktion, Finanzen, Dienstleistungen,
Innovationen)
Vorsitz: Ronja Kemmer, MdB (CDU/CSU)
Projektgruppe 2:
KI und Staat (Verwaltung, Sicherheit, Infrastruktur)
Vorsitz: Anke Domscheit-Berg, MdB (DIE LINKE.)
Projektgruppe 3:
KI und Gesundheit (Pflege, Sport)
Vorsitz: Dr. Anna Christmann, MdB (BÜNDNIS 90/DIE GRÜNEN)
Projektgruppe 4:
KI und Arbeit, Bildung, Forschung
Vorsitz: René Röspel, MdB (SPD)
Projektgruppe 5:
KI und Mobilität (Energie, Logistik, Umwelt)
Vorsitz: Daniela Kluckert, MdB (FDP)
Projektgruppe 6:
KI und Medien (Social Media, Meinungsbildung, Demokratie)
Vorsitz: Joana Cotar, MdB (AfD)
Die Projektgruppen setzten sich aus jeweils 13 ordentlichen Mitgliedern aus dem Kreis der Abgeordneten
und der sachverständigen Mitglieder zusammen. Aus diesem Kreis benannten die Fraktionen zusätzlich
weitere stellvertretende Mitglieder. Die Entsendung der ordentlichen Mitglieder erfolgte entsprechend dem
Berechnungsschlüssel nach dem Verfahren Sainte-Laguë/Schepers auf Grundlage der Sitzverteilung im
Parlament. Danach benannte die Fraktion der CDU/CSU jeweils fünf ordentliche Mitglieder, die Fraktion
der SPD drei ordentliche Mitglieder, die Fraktion der AfD zwei ordentliche Mitglieder und die Fraktionen
FDP, DIE LINKE. und BÜNDNIS 90/DIE GRÜNEN jeweils ein ordentliches Mitglied für jede
Projektgruppe. Jede Fraktion erhielt den Vorsitz einer Projektgruppe. Alle Mitglieder der Projektgruppen
hatten Rederecht, die ordentlichen Mitglieder der Projektgruppen auch Stimmrecht, alle teilnehmenden
stellvertretenden Mitglieder der Projektgruppen hatten im Vertretungsfall Stimmrecht. Auf Basis des
Verfahrens Sainte-Lague/Schepers ergab sich in den Projektgruppen eine Stimmverteilung von fünf Stimmen
für die Fraktion der CDU/CSU, drei Stimmen für die Fraktion der SPD, zwei Stimmen für die Fraktion der
AfD und je eine Stimme für die Fraktionen FDP, DIE LINKE. und BÜNDNIS 90/DIE GRÜNEN.
Die Projektgruppen traten regelmäßig an den Enquete-Sitzungstagen sowie an zusätzlichen Terminen
zusammen. Neben den Beratungssitzungen fanden auch in den Projektgruppen Expertenanhörungen zu den
jeweiligen Themenbereichen statt, zudem wurden schriftliche Stellungnahmen weiterer Expertinnen und
Experten eingeholt.
64
Die Arbeit in den Projektgruppen fand in zwei Phasen von jeweils rund zehn Monaten
statt: Die ersten drei Projektgruppen arbeiteten von Februar bis Oktober 2019; die Projektgruppen 4 bis 6
von Oktober 2019 bis Juli 2020.
Darüber hinaus trafen sich ab Dezember 2019 interessierte Mitglieder regelmäßig in kleineren
Arbeitsgruppen, um die im Rahmen der Projektgruppenarbeit identifizierten übergreifenden Themen wie
etwa Recht, Daten oder Gesellschaft zu beraten und entsprechende Berichtskapitel für den sogenannten
Mantelbericht zu verfassen. Parallel dazu haben sachverständige Mitglieder in einer Task Force „Forschung“
den Stand der Wissenschaft und Technik zusammengetragen, um einen Überblick über die technischen
Möglichkeiten und Herausforderungen sowie Optimierungsvorschläge im Bereich der Forschung zu geben;
die Ergebnisse sind in den Mantelberichtsteil KI und Forschung eingeflossen.
65
In Abgrenzung dazu befasste
sich die Projektgruppe „KI und Arbeit, Bildung, Forschung“ neben ihrem Schwerpunktthema Arbeit mit KI
als Instrument in Bildung und Forschung.
64
Übersichten über die Mitglieder der Projektgruppen sowie über die Expertengespräche und schriftlichen Stellungnahmen sind in
den jeweiligen Projektgruppenberichten und im Anhang 2.2.3 [Zusammensetzung der Projektgruppen] und im Anhang 2.4.12
[Anhörungsgäste der Projektgruppen] aufgeführt.
65
Vgl. Kapitel 9 des Mantelberichts [KI und Forschung].
Deutscher Bundestag – 19. Wahlperiode
– 43 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

image
Einbeziehung der Öffentlichkeit und Pressearbeit
66
Die Sitzungen der Enquete-Kommission waren – wie auch bei den ständigen Ausschüssen üblich
67
grundsätzlich nichtöffentlich, um einen geschützten Raum für den Gedankenaustausch zu ermöglichen.
Gleichwohl war es den Mitgliedern der Enquete-Kommission wichtig, kontinuierlich Wissen und
Erkenntnisse zum Thema KI in die Öffentlichkeit zu tragen. Daher wurden alle einleitenden Vorträge von
Expertinnen und Experten, die zu Anhörungen geladen waren, und auch die Diskussion über die KI-Strategie
der Bundesregierung in öffentlicher Sitzung durchgeführt.
68
Die öffentlichen Teile der Sitzungen wurden
zum Teil live, zum Teil zeitversetzt im Parlamentsfernsehen übertragen und sind auf der Seite der Enquete-
Kommission im Internet dauerhaft abrufbar.
69
Um den Dialog mit Bürgerinnen und Bürgern zu intensivieren, beauftragte die Enquete-Kommission ein
wissenschaftliches Gutachten, mit dessen Hilfe die Haltung der Öffentlichkeit zu Thesen und
Handlungsempfehlungen eingeholt wurde.
70
Als Grundlage für dieses Gutachten hat die Enquete-
Kommission vom 10. März 2020 bis 19. April 2020 einen Online-Dialog durchgeführt, an dem sich
Bürgerinnen und Bürger und Fachleute aus Wissenschaft, Wirtschaft und Zivilgesellschaft gleichermaßen
beteiligen und ihre Vorstellungen in die Diskussion der Enquete-Kommission einbringen konnten.
71
66
Zu diesem Kapitel liegt ein Sondervotum aus der Fraktion BÜNDNIS 90/DIE GRÜNEN vor [Sondervotum zu Kapitel 5.3 des
Berichtsteils „Allgemeiner Teil: Auftrag und Arbeitsweise“ („Einbeziehung der Öffentlichkeit und Pressearbeit“) der
Abgeordneten Dr. Anna Christmann, Dieter Janecek, Dr. Petra Sitte und Jessica Tatti sowie der sachverständigen Mitglieder
Prof. Dr. Hannah Bast, Dr. Florian Butollo und Dr. Stefan Heumann].
67
Vgl. § 69 Abs. 1 Satz 1 GO-BT.
68
Eine Ausnahme bildete aufgrund der eingeschränkten Bildqualität lediglich die letzte Anhörungssitzung der Enquete-
Kommission am 4. Mai 2020, die als Videokonferenz durchgeführt wurde.
69
Weitere Informationen dazu unter:
https://www.bundestag.de/ausschuesse/weitere_gremien/enquete_ki
(zuletzt
abgerufen am
9. Oktober 2020).
70
Vgl. Beschluss vom 3. Juni 2019.
71
Weitere Informationen dazu unter:
www.enquetebeteiligung.de
(zuletzt abgerufen am 9. Oktober 2020).
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 44 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

image
Anmerkung: Die Frist zur Beteiligung wurde später aufgrund der
Auswirkungen der Corona-Pandemie bis zum 19. April 2020 verlängert.
Geplant war zudem, für das Gutachten nicht digital-affine Fokusgruppen im Frühjahr 2020 persönlich zu
befragen, darauf hat die Enquete-Kommission aufgrund des möglichen Ansteckungsrisikos durch Corona
verzichtet. Bei kleineren Gruppen stand die Repräsentativität der Aussagen infrage. Das Gutachten hat – nach
entsprechender Ausschreibung – die Bietergemeinschaft aus Liquid Democracy und Nexus, Institut für
Kooperationsmanagement und interdisziplinäre Forschung, erstellt. Das Gutachten ist dem Bericht als
Anlage beigefügt.
Die Mitglieder der Enquete-Kommission pflegten zu vielen anderen Gelegenheiten einen intensiven
Austausch mit Bürgerinnen und Bürgern sowie Stakeholdern. So waren bei zahlreichen Veranstaltungen
Mitglieder der Enquete-Kommission auf Podien oder in Workshops präsent; hierzu zählen etwa die Digital-
Gipfel in Nürnberg im Jahr 2018 und in Dortmund im Jahr 2019, die öffentliche Sitzung der
Datenethikkommission der Bundesregierung am 7. Februar 2019, der Tag der Ein- und Ausblicke im
Deutschen Bundestag am 8. September 2019
72
und Kongresse, die von einzelnen Fraktionen oder Stiftungen
zum Thema KI und zur Arbeit der Enquete-Kommission durchgeführt wurden.
73
Darüber hinaus waren die
Mitglieder der Enquete-Kommission regelmäßig gefragte Interviewpartner zum Themenbereich KI, so dass
viele öffentlich zugängliche Beiträge entstanden sind, die von einer intensiven Enquete-Arbeit zeugen und
die Ergebnisse in die gesellschaftliche Debatte trugen.
Zudem gab es zur Arbeit und zu den Ergebnissen der Enquete Kommission einen regelmäßigen politischen
Austausch im Plenum: So fand neben der Einsetzungsdebatte am 20. Dezember 2019 eine Vereinbarte
Debatte zur Zwischenbilanz der Arbeit der Enquete-Kommission statt.
74
Dieser Debatte war die
Veröffentlichung von Zusammenfassungen der Zwischenergebnisse der Projektgruppen 1 bis 3
vorausgegangen.
75
Mit einer abschließenden Ergebnispräsentation am 28. September 2020 hat die Enquete-Kommission
schließlich in hybrider Form über ihre Arbeitsergebnisse sowie über die Ergebnisse des Online-Dialogs
umfassend informiert. Eine Dokumentation der Veranstaltung, die live im Parlamentsfernsehen und auf
www.bundestag.de
übertragen wurde, ist dem Bericht ebenfalls als Anlage beigefügt.
72
Bürgergespräch zum Thema „Pflegeroboter, autonomes Fahren oder vernetzte Küchengeräte – wie verändert Künstliche
Intelligenz unser Leben?“.
73
Weitere Informationen dazu unter:
https://www.cducsu.de/veranstaltungen/k-nstliche-intelligenz-perspektiven-f-r-gesellschaft-
und-staat/programm,
https://www.spdfraktion.de/termine/kuenstlicheintelligenz
und
https://www.kas.de/de/veranstaltungsberichte/detail/-/content/politikempfehlungen-fuer-ki-2
(zuletzt
abgerufen am
9. Oktober 2020).
74
Vgl. Plenarprotokoll 19/138, S. 17233 ff.
75
Die Dokumente sind abrufbar unter
https://www.bundestag.de/ausschuesse/weitere_gremien/enquete_ki/sonstige_veroeffentlichungen.
Deutscher Bundestag – 19. Wahlperiode
– 45 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Die Mitglieder der Enquete-Kommission bedauern, dass es zum Ende ihrer Arbeit aufgrund der Corona-
Pandemie keine Möglichkeiten gab, weitere persönliche Austauschräume zu schaffen. So musste auch eine
internationale Delegationsreise der Enquete-Kommission, die im Frühjahr 2020 stattfinden sollte, wegen der
internationalen Reisewarnung infolge der Corona-Pandemie kurzfristig abgesagt werden.
6
Kontext der Arbeit der Enquete-Kommission
Die Enquete-Kommission hat in einem sehr dynamischen Umfeld gearbeitet. Während ihrer Beratungen gab
es auf nationaler und europäischer Ebene zahlreiche (politische) Initiativen zum Themenkomplex KI. Mit
den Ergebnissen dieser Institutionen und Gremien hat sich die Enquete-Kommission intensiv
auseinandergesetzt und sich u. a. in Anhörungen regelmäßig mit Akteurinnen und Akteuren ausgetauscht.
Exemplarisch
76
für staatliche Initiativen sind zu nennen
Die nationale Strategie für Künstliche Intelligenz der Bundesregierung (KI-Strategie)
77
,
veröffentlicht am 15. November 2018. Hierzu hat die Enquete-Kommission in ihrer 5. Sitzung am
10. Dezember 2018 mit Vertretern der Bundesregierung diskutiert
78
. Im Rahmen der Evaluierung der
KI-Strategie gab es einen Austausch mit der Bundeministerin für Bildung und Forschung, dem
Bundesminister für Arbeit und Soziales und dem Beauftragten des BMWi für die Digitale Wirtschaft
und Start-ups in Vertretung des Bundesministers für Wirtschaft und Energie am 8. September 2020.
Die Einsetzung einer Datenethikkommission der Bundesregierung, die ihre Arbeit am
5. September 2018 aufgenommen und am 23. Oktober 2019 ihr Gutachten vorgelegt hat.
79
Die
Enquete-Kommission hat sich hierzu u. a. in der 14. Sitzung am 4. November 2019 mit den Co-
Sprecherinnen
80
ausgetauscht und die Ergebnisse in ihren Bericht einbezogen.
Die Einsetzung der Kommission Wettbewerbsrecht 4.0 der Bundesregierung zum
20. September 2018, die ihren Abschlussbericht am 9. September 2019 übergeben hat.
81
Der
Kommission gehörten auch zwei Mitglieder der Enquete-Kommission an
82
, die darüber in der
14. Sitzung am 4. November 2019 berichtet haben.
Die von der Europäischen Kommission eingesetzte High-Level Expert Group on AI. Diese hat am
8. April 2019 zunächst die von ihr erarbeiteten Ethik-Richtlinien und am 26. Juni 2019 ihre
Empfehlungen für eine vertrauenswürdige KI vorgestellt.
83
Auf dieser Grundlage hat die
Kommission am 19. Februar 2020 ihr Weißbuch zu Künstlicher Intelligenz vorgelegt.
84
Mit diesen
europäischen Initiativen hat sich die Enquete-Kommission in mehreren Sitzungen beschäftigt.
85
76
Im Umfeld von KI gibt es diverse weitere Initiativen – etwa die Digitalstrategie der Bundesregierung – und Gremien – etwa den
Digitalrat und die Denkfabrik Digitale Arbeitsgesellschaft; hierzu tauschten sich Mitglieder der Enquete-Kommission auf
Einladung des Bundesministeriums für Arbeit und Soziales (BMAS) am 4. November 2019 aus.
77
Bundesregierung (2018): Strategie Künstliche Intelligenz der Bundesregierung.
78
Gespräch mit Hubertus Heil, Bundesminister für Arbeit und Soziales, Oliver Wittke, Parlamentarischer Staatssekretär beim
Bundesminister für Wirtschaft und Energie, und Dr. Michael Meister, Parlamentarischer Staatssekretär bei der Bundesministerin
für Bildung und Forschung.
79
Datenethikkommission der Bundesregierung (2019): Gutachten der Datenethikkommission der Bundesregierung.
80
Prof. Dr. med. Christiane Woopen und Prof. Dr. Christiane Wendehorst.
81
Vgl. Schallbruch et al. (2019): Ein neuer Wettbewerbsrahmen für die Digitalwirtschaft. Bericht der Kommission
Wettbewerbsrecht 4.0.
82
Die Abgeordneten Hansjörg Durz (CDU/CSU) und Falko Mohrs (SPD).
83
High-Level Expert Group on Artificial Intelligence (2019): Ethik-Leitlinien für eine vertrauenswürdige KIၕ
; High-Level Expert
Group on Artificial Intelligence (2019): Policy and investment recommendations for trustworthy Artificial Intelligence.
84
Europäische Kommission (2020): Weißbuch zur Künstlichen Intelligenz – ein europäisches Konzept für Exzellenz und
Vertrauen.
85
Gespräch mit Dr. Carl-Christian Buhr, stellvertretender Kabinettschef der damaligen EU-Kommissarin für digitale Wirtschaft
und Gesellschaft Mariya Gabriel, und mit Saskia Steinacker, Mitglied der High-Level Expert Group on AI der EU-Kommission,
in der 4. Sitzung am 5. November 2018. Anhörung von Prof. Dr.-Ing. Sami Haddadin, der sowohl Mitglied der High-Level
Expert Group on AI als auch sachverständiges Mitglied der Enquete-Kommission war, am 9. Dezember 2019 in der 16. Sitzung.
Austausch mit Christiane Canenbley, stellvertretende Kabinettschefin der geschäftsführenden Vizepräsidentin der Europäischen
Kommission, Margarethe Vestager, zum Weißbuch der EU-Kommission in der 20. Sitzung am 4. Mai 2020.
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 46 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Die Veröffentlichung von Grundsätzen für KI durch die
Organisation für wirtschaftliche
Zusammenarbeit und Entwicklung
(OECD) im Mai 2019
86
. Damit hat sich die Enquete-Kommission
in der 20. Sitzung am 4. Mai 2020 befasst.
87
Gleichzeitig widmete sich die Enquete-Kommission auch intensiv Projekten und Initiativen nichtstaatlicher
Akteurinnen und Akteure aus Wissenschaft und Forschung sowie der Zivilgesellschaft. Beispielhaft zu
nennen sind hier:
Gespräche mit
Vertretern
der
Fraunhofer
-Gesellschaft, der Helmholtz Gemeinschaft, der Leibnitz-
Gemeinschaft sowie der Max-Planck-Gesellschaft in der 8. Sitzung am 11. März 2019
88
;
Austausch mit Start-ups und KI-Branchenvertreterinnen und -vertretern, u. a. in der 9. Sitzung am
1. April 2019
89
;
Diskussion mit zivilgesellschaftlichen Organisationen wie dem Verbraucherzentrale Bundesverband,
Algorithmwatch sowie der Initiative Z-inspection, u. a. in der 18. Sitzung am 10. Februar 2020
90
.
86
Vgl. OECD (2019): OECD-Grundsätze für Künstliche Intelligenz.
87
Anhörung von Verena Weber, Head of Communication Infrastructures and Services Unit im Directorate for Science,
Technology and Innovation der OECD.
88
Prof. Dr. Emmanuel Müller, Fraunhofer-Gesellschaft; Prof. Dr. Morris Riedel, Helmholtz Gemeinschaft; Prof. Dr. Sören Auer,
Leibniz-Gemeinschaft; Prof. Dr. Klaus-Robert Müller, Max-Planck-Gesellschaft.
89
Hans-Christian Boos, arago GmbH; Roy Uhlmann, Bundesverband Deutsche Startups.
90
Prof. Roberto V. Zicari, Initiative Z-inspection; Matthias Spielkamp, Algorithmwatch; Lina Ehrig, Verbraucherzentrale
Bundesverband.
Deutscher Bundestag – 19. Wahlperiode
– 47 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

C. Besonderer Teil:
Bestandsaufnahme, Analyse, Entwicklungsperspektiven und Handlungsempfehlungen
I.
Mantelbericht: Projektgruppenübergreifende Themen
1
Begriffsklärung Künstliche Intelligenz
In den vergangenen Jahren hat die Künstliche Intelligenz (KI) flächendeckend stark an Bedeutung gewonnen.
Maßgeblich für diese Entwicklung waren und sind die folgenden fünf Umstände:
1.
die
Digitalisierung
, durch die große
Daten
mengen für eine maschinelle Verarbeitung zur Verfügung
stehen,
2.
die bisher exponentiell wachsende
Rechenleistung
, die es ermöglicht, diese großen Datenmengen
effizient zu verarbeiten,
3.
die
Vernetzung und Kommunikationstechnologie,
durch die global Daten (oft verzögerungsfrei) in
Prozesse einfließen und große Datenpools schaffen können,
4.
die massive Entwicklung leistungsfähiger
Hardwarekomponenten und Systemplattformen
wie
Sensoren, Aktoren und Energiesysteme,
5.
die
Weiterentwicklung
von KI-Algorithmen
zur Marktreife
.
Dieser Abschnitt erläutert wesentliche Grundbegriffe zum Thema KI, die für die Arbeit und den
Abschlussbericht der Enquete-Kommission von Bedeutung sind.
Die Enquete-Kommission hat sich dabei bewusst für eine Begriffsklärung und gegen eine eigene Definition
entschieden. Eine Definition liefert z. B. die „High-Level Expert Group on Artificial Intelligence“, die von
der Europäischen Kommission eingerichtet wurde.
91
KI-Systeme und KI-Arten
KI-Systeme sind von Menschen konzipierte, aus Hardware- und/oder Softwarekomponenten bestehende
intelligente Systeme, die zum Ziel haben, komplexe Probleme und Aufgaben in Interaktion mit der und für
die digitale oder physische Welt zu lösen.
Dazu erfassen, verarbeiten und analysieren KI-Systeme Daten und zeigen ein geeignetes Verhalten zur
Lösung und Erfüllung der jeweiligen Probleme und Aufgaben. Interagiert die KI durch einen technischen
Körper physisch mit ihrer Umwelt, z. B. als Roboter, spricht man von verkörperter KI („embodied AI“).
Beispiele
für
KI-Systeme
sind
medizinische
Diagnosesysteme,
Systeme
zur
automatischen
Gesichtserkennung,
Sprachassistenzsysteme,
autonome
Fahrzeuge
oder
multifunktionelle
Haushaltsroboter.
92
Grundsätzlich lassen sich zwei Arten von KI-Systemen unterscheiden:
Regelbasierte KI-Systeme
sind dadurch gekennzeichnet, dass das Verhalten vollständig durch
algorithmische Regeln und maschinenlesbares Wissen von menschlichen Expertinnen oder Experten
definiert ist. Dazu gehören insbesondere sogenannte Expertensysteme und die ihnen zugrunde liegenden
Wissensdatenbanken. Das Verhalten regelbasierter KI-Systeme ist für den Menschen nachvollziehbar, da die
Verfahren der Ergebnisfindung von Menschen gestaltet, definiert und einsehbar sind. Allerdings kann sich
dies durch viele komplexe oder sogar adaptive Regeln, wie durch das Zusammenspiel vieler solcher Systeme,
sehr schwierig und damit nur für die Expertin oder den Experten nachvollziehbar gestalten.
Lernende KI-Systeme
zeichnen sich dadurch aus, dass ihre initiale Konfiguration durch den Menschen nur
die Grundlage für die konkrete Funktionsweise im eigentlichen Betrieb darstellt. Mithilfe von Daten
91
Vgl. High-Level Expert Group on Artificial Intelligence (2019): Eine Definition der KI: Wichtigste Fähigkeiten und
Wissenschaftsgebiete. Weitere Informationen dazu unter:
https://ec.europa.eu/futurium/en/ai-alliance-consultation
(zuletzt
abgerufen am 4. August 2020).
92
Die Plattform Lernende Systeme hat unterschiedliche Anwendungsszenarien für KI in den Bereichen „Mobilität und
Verkehrssysteme“, „Gesundheit, Medizintechnik, Pflege“, „Lebensfeindliche Umgebungen“ sowie „Arbeit, Qualifikation und
Mensch-Maschine Interaktion“ entwickelt, die einen realistischen Blick auf kommende Technologien der nächsten zehn Jahre
geben sollen, weitere Informationen dazu
unter:
https://www.plattform-lernende-systeme.de/anwendungsszenarien.html
(zuletzt
abgerufen am 4. August 2020).
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 48 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

trainieren sie, wie ein Problem zu lösen bzw. eine Aufgabe zu erfüllen ist. Sie passen hierbei ihre
Funktionsweise durch einen entsprechenden Lernprozess kontinuierlich an. Dieser Prozess wird in Kapitel
1.3 des Mantelberichts [Arten des Trainings und Trainingsdaten], genauer beschrieben. Die Daten können
explizit vom Menschen in das System eingespeist oder durch gezielte Interaktion mit der Umwelt vom
System mittels Sensoren selbst gewonnen werden. Nach heutigem Stand sind aber auch bei diesen Systemen
die übergeordneten Problemstellungen und Ziele vom Menschen vorgegeben. Das Systemverhalten ist
hierbei für Menschen häufig schwer nachvollziehbar, wie im nächsten Absatz genauer erklärt wird.
Unter den lernenden KI-Systemen haben in den letzten zehn Jahren insbesondere solche Systeme eine
besondere Aufmerksamkeit erregt, die auf dem sogenannten tiefen Lernen (englisch „Deep Learning“)
basieren. Das tiefe Lernen ist eine besondere Art des Maschinellen Lernens (im Sinne des vorherigen
Absatzes) mittels sogenannter neuronaler Netze. Der Begriff der Tiefe bezieht sich hier auf die große Anzahl
Schichten dieser Rechennetze. Anders als bei den bis dahin überwiegend verwendeten Systemen müssen die
Daten beim tiefen Lernen viel weniger (und teilweise überhaupt nicht mehr) vom Menschen vorverarbeitet
und vorstrukturiert werden. Die sinnvolle Strukturierung der Rohdaten wird dann zu einem Teil des
Lernprozesses. Durch diesen zusätzlichen Freiheitsgrad ist die Qualität der Ergebnisse denen bisheriger
Systeme oft überlegen. Allerdings sind die Ergebnisse solcher Systeme gerade wegen der geringeren
Vorverarbeitung oder Vorstrukturierung durch den Menschen besonders schwer nachvollziehbar.
Die Grenzen heutzutage eingesetzter KI-Systeme werden in Kapitel 1.4 des Mantelberichts [Einsatz und
Qualität von KI-Systemen], diskutiert. Insbesondere wird dort kurz auf den Unterschied zwischen
sogenannter schwacher KI und starker KI eingegangen.
Training von lernenden KI-Systemen
Lernalgorithmen in KI-Systemen bestehen aus zwei Teilen: einem Grundgerüst, das vom Menschen
vorgegeben ist (z. B. in der Form eines Rechennetzwerkes oder einer komplexen Formel mit einer
bestimmten Struktur), und einer Anzahl von Parametern (oft sehr viele), für die nur ein initialer Wert
vorgegeben ist und die im Laufe des Trainings angepasst („gelernt“) werden.
Um nun eine spezifische Fähigkeit oder ein Verhalten zu trainieren, wird das System normalerweise
schrittweise mit Beispielen, oft Trainingsdaten genannt, gefüttert. Diese Daten kommen entweder vom
Menschen und/oder das System verschafft sich die Daten durch selbstständige (wenn auch vom Menschen
methodisch vorgegebene) Interaktion und Messung. In jedem solchen Trainingsschritt werden die Parameter
derart angepasst, dass sich das Verhalten des Systems auf Basis dieser Trainingsdaten verbessert. Das
Training wird so lange durchgeführt, bis keine wesentliche Verbesserung mehr eintritt oder wie es die zur
Verfügung stehenden Ressourcen erlauben. In der Regel ist das Ergebnis des Trainings umso besser, je mehr
Trainingsdaten zur Verfügung stehen.
Das Trainieren eines KI-Systems kann grundsätzlich auch während seines Einsatzes fortgesetzt werden. Der
Vorteil ist, dass das System dann seine Fähigkeiten durch die kontinuierlich hinzukommenden Daten immer
weiter verbessern kann. Ein Nachteil ist, dass sich das Verhalten wieder verschlechtern kann, etwa durch
Fehler beim Lernen. Im schlimmsten Fall kann dies sogar zu kompletten Fehlklassifikationen oder
komplettem Fehlverhalten führen. Während heute typischerweise verkörperte KI-Systeme wie Roboter oder
Autos nur einmal trainiert werden, sind viele andere KI-Systeme wie Suchmaschinen oder
Empfehlungssysteme gerade deshalb so wirkungsvoll, weil sie ständig weiterlernen.
Arten des Trainings und Trainingsdaten
Grundsätzlich lassen sich drei Arten des Trainings unterscheiden:
Beim sogenannten überwachten Lernen (englisch „supervised learning“) sind die Trainingsdaten mit
Zusatzinformationen, sogenannten Annotationen, versehen, die direkte Hinweise in Bezug auf das
gewünschte Verhalten geben. Das kann z. B. eine Menge von Bildern sein, die Angaben zu den darauf
abgebildeten Objekte enthalten. Solche annotierten Daten sind für das Lernen meistens besonders effektiv,
es ist aber oft sehr schwer oder kostspielig, sie in großer Menge zu erhalten, da die Annotationen in der Regel
das Produkt menschlicher Arbeit sind.
Beim sogenannten nicht-überwachten Lernen (englisch „unsupervised learning“) werden Trainingsdaten
ohne solche Annotationen verwendet. Diese Daten stehen oft in sehr großen Mengen zur Verfügung, z. B.
Terabytes von Texten oder Millionen von Bildern. Auch aus solchen Daten können KI-Systeme lernen, z. B.
können sie Erkenntnisse gewinnen über die grundsätzliche Syntax und Semantik einer Sprache oder den
Deutscher Bundestag – 19. Wahlperiode
– 49 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

grundsätzlichen Aufbau eines Bildes. In der Praxis kommt heutzutage oft eine Kombination aus überwachtem
und nicht-überwachtem Lernen zum Einsatz.
Beim sogenannten bestärkenden Lernen (englisch „reinforcement learning“) muss sich das System innerhalb
einer bestimmten Umgebung für Handlungen entscheiden. Vom Menschen vorgegeben ist lediglich das
übergeordnete Ziel, z. B. der Gewinn eines Spiels oder eine gewünschte Veränderung in der physischen Welt.
Selbst die genaue mathematische Formulierung des Ziels kann parametrisiert und Teil des Lernprozesses
sein.
Einsatz und Qualität von KI-Systemen
Im praktischen Einsatz reproduzieren KI-Systeme das gelernte Verhalten, indem sie in der antrainierten
Weise auf ihnen bis dahin unbekannte Daten und Sensorsignale reagieren. Für den Einsatz sind die KI-
Systeme dann in der Regel nicht mehr auf die für das Training verwendeten Daten angewiesen.
In der Durchführung und Lösung spezifischer und wohldefinierter Aufgaben- und Problemstellungen sind
KI-Systeme dem Menschen überlegen, teilweise deutlich. Dazu gehört schon lange ein Spiel wie Schach und
seit einigen Jahren auch Spiele mit weitaus mehr Zugmöglichkeiten wie Go sowie weitere komplexe
Computerspiele. Dazu gehören aber ebenso die Bilderkennung in der medizinischen Diagnostik und das
autonome Fahren.
Grundsätzlich lässt sich sagen, dass heutige KI-Systeme dem Menschen potenziell bei solchen kognitiven
Prozessen überlegen sind, bei denen die Problemstellung, die Art der benötigten Daten und das Erfolgsmaß
klar definiert werden können und diese Daten in großer Menge zur Verfügung stehen. Selbst ein einzelner
herkömmlicher Computer kann dadurch heutzutage problemlos in kurzer Zeit ein Vielfaches mehr an Texten
oder Bildern lernend verarbeiten, als ein einzelner Mensch in einem ganzen Leben auch nur anzuschauen
vermag. Man spricht im Zusammenhang mit solchen Problemstellungen auch oft von „schwacher KI“.
Allen diesen Problemen ist aber aufgrund ihrer Komplexität gemein, dass die optimale Lösung nicht exakt
ausgerechnet werden kann und sich auch KI-Systeme ihr nur schrittweise in iterativen Prozessen annähern
können. Auch wenn also KI-Systeme bei der Lösung der beschriebenen Art von Problemen den Menschen
an Präzision übertreffen, garantieren sie keine Fehlerfreiheit.
Umgekehrt ist Menschen eine allgemeine Intelligenz zu eigen, die es ihnen erlaubt, Informationen der
verschiedenen Sinne in einen größeren Zusammenhang zu stellen und Probleme aus den unterschiedlichsten
Bereichen zu lösen oder dafür Lösungsstrategien zu entwickeln. Dies gilt insbesondere bei der Interaktion
mit der physischen Welt, die selbst bei für einen Menschen vergleichsweise einfachen Tätigkeiten ein
komplexes Zusammenspiel verschiedener Sinneswahrnehmungen in Kombination mit einer komplexen
Motorik und Agilität erfordert.
Man spricht im Zusammenhang mit diesen Fähigkeiten auch von „starker KI“. Es gibt heutzutage kein KI-
System, das diesen Fähigkeiten des Menschen auch nur nahekommt. Es ist innerhalb der Wissenschaft
umstritten, wie nahe KI-Systeme diesen Fähigkeiten überhaupt kommen können. Es gilt als sehr
unwahrscheinlich, dass eine solche Entwicklung kurz oder mittelfristig bevorsteht.
Für die Arbeit dieser Enquete-Kommission stehen daher schwache KI-Systeme im Fokus, die bereits heute
im Einsatz sind oder deren Einsatz innerhalb der nächsten Jahre realistisch erscheint. Der vorliegende Bericht
konzentriert sich dabei im Wesentlichen auf die Eigenschaften und den Umgang mit lernenden KI-Systemen.
Der Begriff KI-System wird dementsprechend im Weiteren im Sinne von lernenden KI-Systemen verwendet.
2
KI und Daten
Wie in Kapitel 1 des Mantelberichts [Begriffsklärung Künstliche Intelligenz] beschrieben, spielen Daten für
KI-Systeme in der Anwendung, beim Testen, vor allem aber beim Training eine zentrale Rolle. Dabei werden
durch KI-Systeme generalisierende Gesetzmäßigkeiten ausgeprägt, die in den zum Training verwendeten
Daten vorhanden sind. Trainingsdaten bestimmen also maßgeblich das antrainierte Verhalten des KI-
Systems, weil nur Zusammenhänge erlernt werden können, die auch in den Trainingsdaten abgebildet
werden. Für das Training gilt dabei in der Regel: Je komplexer die zu erlernende Aufgabe ist, desto mehr
Daten werden benötigt. Die Quantität der zur Verfügung stehenden Daten spielt neben der Qualität also für
KI eine wichtige Rolle.
Im Folgenden werden ausgewählte Aspekte und Eigenschaften von Daten erklärt, die für das Verständnis der
weiteren Berichtsteile wesentlich sind.
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 50 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Definitionen
Daten
bestehen aus (Zahlen-)Werten, die beispielsweise durch Beobachtungen, Messungen oder statistische
Erhebungen gewonnen oder abgeleitet werden.
93
Im Kontext von KI gibt es sehr unterschiedliche Daten.
Diese reichen von Bildern oder Texten über den Standort eines Roboters, das Klickprofil, das von
Suchmaschinen erstellt wird, bis hin zu Sensordaten aus einer Flugzeugturbine. Daten werden physikalisch
gespeichert, z. B. auf einem USB-Stick oder einer Festplatte, und können von einem physikalischen Speicher
in einen anderen übertragen werden. Die Datenverarbeitung umfasst jeden Vorgang, bei dem Daten die
Grundlage darstellen. Dies beinhaltet neben der Verwendung von Daten für Berechnungen
94
auch das
Erheben, Speichern und Übertragen sowie insbesondere die Löschung, Überschreibung und
Sichtbarmachung.
95
Informationen
bezeichnen den Sinngehalt, der aus den Daten durch menschliche Interpretation entsteht.
Während Daten die Träger von Informationen sind, sind Informationen selbst dementsprechend subjektive
und kontextbasierte Zuschreibungen.
96
Die Verwendungsmöglichkeiten der Informationen, die aus einem Datensatz gewonnen werden können,
bestimmen dessen Nutzen. Aus dem Zusammenspiel von Nachfrage und Angebot bildet sich der
ökonomische Wert von Daten. Im Gegensatz zu physischen Gütern werden Daten allerdings durch die
Nutzung nicht verbraucht und können in der Regel problemlos vervielfältigt werden.
Qualität von Daten
Da Trainingsdaten maßgeblich die Eigenschaften eines KI-Systems bestimmen, ist die Qualität der Daten ein
wesentlicher Aspekt für die Qualität des KI-Systems. Viele Faktoren spielen dabei eine Rolle, ob ein
Datensatz dazu geeignet ist, ein KI-System zu trainieren. Im Folgenden werden die wichtigsten beschrieben:
1.
Der Informationsgehalt der Daten:
Wie beschrieben kann das KI-System nur solche Zusammenhänge
ausprägen, die in den Daten in ausreichendem Maße
97
enthalten sind. Beispielsweise wird ein KI-
System, das auf einer hinreichend großen Basis von Bildern trainiert wurde, um Bälle zu erkennen,
wahrscheinlich den Zusammenhang zwischen einer runden Form und einem Ball ausprägen. Wenn die
Trainingsdaten keine Bilder enthalten, die es ermöglichen, Bälle von anderen rund dargestellten
Gegenständen abzugrenzen, wird das KI-System wahrscheinlich auch Planeten, Orangen, Ringe und
Reifen als Bälle identifizieren. Für die Beurteilung der Qualität der Daten ist daher im Vorfeld zu
bestimmen, ob das KI-System nur in der Lage sein soll, Bälle richtig zu erkennen, oder ob es Bälle auch
von anderen runden Gegenständen abgrenzen können muss.
2.
Die Genauigkeit der Daten:
Um es KI-Systemen zu ermöglichen, die in den Daten enthaltenen
differenzierenden Merkmale zu nutzen, müssen diese möglichst exakt und störungsfrei erkennbar sein.
Basierend auf dem obigen Beispiel würden unscharfe, verrauschte oder zu gering aufgelöste Bilder
wahrscheinlich die Erkennungsleistung des KI-Systems verringern. Allerdings gilt es zu beachten, dass
die für das Training nötige Genauigkeit der Daten in der Regel dadurch bestimmt wird, welche Daten
das KI-System im Einsatz verarbeiten soll. Wenn im Einsatz also beispielsweise mit Unschärfe,
Rauschen oder geringer Auflösung zu rechnen ist, kann es für das KI-System besser sein, auf der Basis
ähnlicher Daten zu trainieren, um Robustheit gegen diese Art von Störungen zu entwickeln.
3.
Die Korrektheit der Daten:
KI-Systeme sind davon abhängig, dass die für ihr Training verwendeten
Daten die zu erlernenden Zusammenhänge korrekt wiedergeben. Einzelne falsche Datenpunkte führen
dabei normalerweise nicht zu Fehlverhalten des Systems, beeinträchtigen aber unter Umständen die
Genauigkeit. Systematische Fehler dagegen können dazu führen, dass falsche Zusammenhänge
ausgeprägt werden. Basierend auf dem obigen Beispiel wäre bei wenigen fälschlich als Kugel
93
Vgl. Duden: Daten
.
94
Diese Berechnungen bilden die Grundlage etwa für Analysen, Diagnosen, Auswertungen und Vorhersagen.
95
Nach Artikel 4 Nummer 2 der Datenschutz-Grundverordnung (DSGVO) bezeichnet Verarbeitung „jeden mit oder ohne Hilfe
automatisierter Verfahren ausgeführten Vorgang oder jede solche Vorgangsreihe im Zusammenhang mit personenbezogenen
Daten wie das Erheben, das Erfassen, die Organisation, das Ordnen, die Speicherung, die Anpassung oder Veränderung, das
Auslesen, das Abfragen, die Verwendung, die Offenlegung durch Übermittlung, Verbreitung oder eine andere Form der
Bereitstellung, den Abgleich oder die Verknüpfung, die Einschränkung, das Löschen oder die Vernichtung“.
96
Technisch gesehen können diese Interpretationen beschrieben und somit als Daten gespeichert werden.
97
Man spricht in diesem Zusammenhang auch von der statistischen Signifikanz der Daten.
Deutscher Bundestag – 19. Wahlperiode
– 51 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

gekennzeichneten Würfeln noch nicht davon auszugehen, dass die Güte des KI-Systems maßgeblich
sinkt. Bei zu vielen als Kugel gekennzeichneten Würfeln würde das KI-System allerdings Würfel
folgerichtig auch als Kugeln erkennen.
Zusammenfassend ist die Qualität von Daten also keine absolute Eigenschaft, sondern kann nur relativ zum
Anwendungsfall bewertet werden. Inwieweit die Qualität der Daten zu Bias und Diskriminierung führen
kann, wird in Kapitel 3 des Mantelberichts [KI und Umgang mit Bias/Diskriminierung] näher erläutert.
Arten von Daten
Die Daten für KI-Systeme können aus unterschiedlichen Quellen kommen. Im Weiteren werden die gängigen
Datenarten erklärt, die im Laufe des Berichts diskutiert werden:
Rohdaten
sind solche Daten, die durch Beobachtungen, Messungen oder statistische Erhebungen gewonnen
werden.
98
Sie werden auch als Primär-, Real-, oder Originaldaten bezeichnet. Daten zu Vorgängen und
Zuständen der physischen Welt werden über Sensoren erzeugt, die dafür analoge Signale umwandeln.
99
Echtzeitdaten
sind eine spezielle Form der Rohdaten, die (meist regelmäßig erfasst) in einer vorgegebenen
Zeitspanne verarbeitet werden. Sie zeichnen sich u. a. dadurch aus, dass sie neben dem beobachteten Fakt
auch einen Rückschluss auf den Zeitpunkt der Erfassung zulassen. Im betriebswirtschaftlichen Kontext
werden Echtzeitdaten auch als Produktivdaten bezeichnet.
Für das Training von KI-Systemen sind Rohdaten von besonderer Bedeutung, weil sie es ermöglichen, auch
solche Zusammenhänge zu lernen, die dem Menschen unbekannt oder unzugänglich sind. So können KI-
Systeme z. B. lernen, basierend auf einer großen Menge von Sensordaten Schäden an Maschinen
vorherzusagen,
100
die für den Menschen nur schwer erkennbar oder verborgen sind.
Sekundärdaten
sind – im Gegensatz zu Rohdaten – alle jene Daten, die durch Datenverarbeitung entstanden
sind. Dabei können für diese Datenverarbeitung sowohl Rohdaten als auch Sekundärdaten die Grundlage
bilden. Oft sind Sekundärdaten bereits Generalisierungen oder Modelle, aus denen kaum noch Rückschlüsse
auf die Rohdaten möglich sind. Ermittelt man beispielsweise den Altersdurchschnitt einer Schulklasse und
nimmt diesen als Sekundärdatum, dann lässt sich hieraus kein Rückschluss auf die Altersverteilung ziehen.
Synthetische Daten
sind eine spezielle Form der sekundären Daten. Sie werden durch Datenverarbeitung
künstlich erzeugt. Meist basieren sie auf einer Kombination aus Regeln über die gewünschte Struktur und
Eigenschaften der Daten, die vom Menschen vorgegeben wird oder auf anderen Datensätzen beruht. In
diesem vorgegebenen Rahmen werden synthetische Daten zufällig
101
generiert. Synthetische Daten enthalten
dementsprechend nur vorher bekannte Informationen und sind somit im Vergleich zu Rohdaten nur begrenzt
geeignet, neue oder unbekannte Erkenntnisse zu gewinnen. Da nach initialer Konfiguration ohne
nennenswerten Aufwand quasi unbegrenzt synthetische Daten produziert werden können, stellen sie aber
eine Möglichkeit dar, große Mengen von Daten für das Trainieren und Testen von KI-Systemen zu
erzeugen.
102
Weiterhin ist die Generierung und Verwendung von synthetischen Daten eine Alternative, wenn
existierende Rohdaten nicht direkt verwendet werden können, weil diese beispielsweise personenbezogene
Informationen enthalten oder Geschäftsgeheimnisse offenlegen würden. Entsprechend ist auch die Erstellung
von Modellen durch Simulation oder mittels modellhafter Abbilder von Gegenständen relevant. Gerade diese
Modelle können einerseits dazu genutzt werden, beim Training extreme Zustände, die in der Realität kaum
oder fast nie vorkommen, gezielt einzusetzen, um die Robustheit des Gesamtsystems auszureizen. Auch
können diese Modelle nach Abschluss des Trainingsprozesses verwendet werden, um reproduzierbare
Prüfmethoden zur Freigabe und Zertifizierung des Gesamtsystems zu entwickeln.
103
98
Diese Definition ist angelehnt an die Beschreibung von Daten im Duden, vgl. Duden: Daten.
99
Rohdaten sind nicht notwendigerweise eine neutrale Abbildung der Realität, da die Entscheidungen darüber, welche Daten in
welchem Umfang mit welchen Mitteln von wem erfasst werden, bereits eine Wertung beinhalten kann (vgl. Gitelman (2013):
"Raw data" is an oxymoron).
100
Diese Informationen werden in der Praxis z. B. genutzt, um vorbeugende Instandhaltungsmaßnahmen (Predictive Maintenance)
vorzunehmen.
101
Normalerweise basieren synthetische Daten auf einer deterministischen mathematischen Berechnung in Kombination mit einem
zufällig ausgewählten Wert, z. B. dem aktuellen Zeitpunkt.
102
Dies wird u. a. dann wichtig, wenn Realdaten nicht oder nur in geringem Maße verfügbar sind, beispielsweise zu seltenen
Katastrophen oder extremen physikalischen Zuständen.
103
Vgl. Drechsler und Jentzsch (2018): Synthetische Daten.
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 52 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Metadaten
beschreiben die Natur der eigentlichen Daten, beispielsweise die Sprache von Textdaten, die
verwendete Kamera oder Aufnahmeort und -zeit bei Bilddaten, und
werden u. a. zur Verwaltung größerer
Datenmengen eingesetzt.
Zugang zu Daten
Datenzugang
bezeichnet die Möglichkeit, auf bestimmte Daten zugreifen und diese verarbeiten zu können.
Um die Nutzung von Daten für das Training von KI-Systemen zu ermöglichen, müssen diese über digitale
Schnittstellen verfügbar gemacht werden. Bei der Gewinnung von und dem Zugriff auf Daten sind
gegebenenfalls gesetzliche Regelungen zu beachten, wie die Europäische Datenschutzgrundverordnung
(DSGVO) oder das Urheberrechtsgesetz. Open Data hingegen sollen jederzeit von allen Interessierten u. a.
auch zu kommerziellen Zwecken genutzt werden können.
104
Datenformate
sind Regeln, nach denen Daten strukturiert gespeichert und bereitgestellt werden.
Standardisierte Datenformate, die von vielen Systemen angewendet werden, sind hilfreich, um Daten
effizient durch verschiedene Systeme verarbeiten und zwischen diesen austauschen zu können.
105
Datensicherheit
wird in diesem Bericht analog zu dem Konzept der Informationssicherheit verwendet, das
das Bundesamt für Sicherheit in der Informationstechnik (BSI) beschrieben hat.
106
Zentral für dieses Konzept
sind drei Eigenschaften:
1.
Vertraulichkeit
beschreibt den Schutz vor unerlaubtem Zugang zu Informationen. Dies kann über eine
Zugangskontrolle zu den Daten erfolgen. In vielen Fällen wird aber alternativ oder zusätzlich eine
Verschlüsselung der Daten vorgenommen, die es Unbefugten trotz Zugang zu den Daten unmöglich
macht, deren Inhalt zu erkennen.
2.
Verfügbarkeit
bezeichnet die Eigenschaft eines Informationssystems, zum gewünschten Zeitpunkt
Daten bereitstellen zu können. Dafür ist es notwendig, dass Systeme in der Lage sind, vordefinierte
Datenübertragungsraten auch während zufälliger oder mutwillig herbeigeführter
107
Hochlastphasen zu
garantieren.
108
3.
Integrität
bedeutet, dass die Daten im System vollständig und unverändert sind und somit nicht
unbeabsichtigt oder mutwillig durch Unbefugte gelöscht oder verändert werden können. Dies ist gerade
im Kontext von KI wichtig, da die im Training verwendeten Daten erheblichen Einfluss auf das
Verhalten des Systems haben.
Personenbezogene Daten
Personenbezogene Daten
sind gemäß der DSGVO alle Informationen, die sich auf identifizierte oder
identifizierbare Personen beziehen.
109
Neben dem Namen oder der Telefonnummer gehören dazu auch Kfz-
Kennzeichen, Konto- und Kreditkartennummern, IP-Adressen und biometrische Daten wie Bilder von
Gesichtern, Fingerabdrücke und Iris-Scans. Auch Gesundheitsdaten und die damit verbundenen
medizinischen und genetischen Daten sowie Patientendaten gehören zu den personenbezogenen Daten.
Folgende Begriffe stehen im engen Zusammenhang mit personenbezogenen Daten:
1.
Informationelle Selbstbestimmung
bezeichnet ein Konzept, bei dem die Entscheidung über Erhebung,
Speicherung und die Nutzung von personenbezogenen Daten bei den betroffenen Personen selbst liegen
soll. Der Mensch bestimmt selbst, ob und wie die ihn betreffenden Daten genutzt werden. Er kann
entsprechend den eigenen Vorstellungen seine Privatsphäre schützen. Das Recht auf informationelle
Selbstbestimmung wurde im Volkszählungsurteil des Bundesverfassungsgerichts von 1983
aufgegriffen und genießt bis heute Verfassungsrang.
104
Siehe AG-Bericht 2 des Berichts der Projektgruppe „KI und Staat“ [AG 2: Smart City und Open Data].
105
Ein bekanntes Beispiel ist der Standard ISO 8601, der die Datenstruktur für den Austausch von Uhrzeit (hh:mm:ss) und Datum
(YYYY-MM-DD) definiert.
106
Vgl. BSI-Standard 200-1, weitere Informationen dazu unter:
https://www.bsi.bund.de/DE/Themen/ITGrundschutz/ITGrundschutzStandards/Leitfaden_Basisabsicherung/Leitfaden_Basisabsi
cherung_node.html
(zuletzt
abgerufen am 4. August 2020).
107
Man spricht hier von „Denial of Service (DoS)“-Attacken.
108
Garantierte Übertragungsraten werden üblicherweise in Form von Service-Level-Agreements (SLAs) definiert.
109
Vgl. Artikel 4 Nummer 1 DSGVO.
Deutscher Bundestag – 19. Wahlperiode
– 53 –
Drucksache
19/
23700
Vorabfassung
wird
durch
die
endgültige
Fassung
ersetzt.

2.
Datensouveränität
und Datenhoheit werden meist synonym zu informationeller Selbstbestimmung
verwendet und heben die Autonomie der Person
110
im Umgang mit ihren personenbezogenen Daten
hervor. Eine datensouveräne Person ist in der Lage, selbstbestimmt mit ihren Informationen umzugehen
und Entscheidungen über deren Nutzung zu treffen.
3.
Datenfreigabe
ist ein Teilaspekt der informationellen Selbstbestimmung und bezeichnet das bewusste
Zur-Verfügung-Stellen
111
von personenbezogenen Daten für bestimmte Zwecke, wie z. B. die
medizinische Forschung.
Nutzergenerierte Daten
werden von einem Individuum durch Nutzung eines Endgeräts erzeugt, weisen aber
nicht notwendigerweise Informationen zu diesem Individuum auf. Sie sind in einigen Bereichen mittlerweile
eine breit anerkannte und weitgehend hochqualitative Grundlage für die Unterstützung von Entscheidungen
in einer Reihe von Anwendungsgebieten.
112
Nicht-personenbezogene Daten
sind dagegen solche Daten, die keine Informationen zu Individuen
enthalten oder keine Identifizierung zulassen. Ein Datensatz ist dementsprechend nicht-personenbezogen,
wenn es kein bekanntes Verfahren gibt, aus diesem personenbezogene Informationen zu gewinnen. Damit
birgt jeder nicht-personenbezogene Datensatz das latente Risiko, durch neue technische Verfahren,
innovative Nutzung bestehender Verfahren oder durch Kombination mit weiteren Informationen
personenbezogen zu werden.
Anonymisierung
umfasst verschiedene Methoden der Datenverarbeitung, die zum Ziel haben,
personenbezogene Informationen in Datensätzen unzugänglich zu machen, gleichzeitig aber nicht-
personenbezogene Informationen soweit möglich zu erhalten. Eine Anonymisierung kann dabei sowohl
durch Menschen als auch maschinell erfolgen. Erfolgreich anonymisierte Datensätze, bei denen der
Personenbezug nachhaltig entfernt wurde, fallen dementsprechend nicht in den Geltungsbereich der DSGVO.
Zu beachten ist allerdings, dass die Anonymisierung selbst eine Verarbeitung von personenbezogenen Daten
gemäß DSGVO darstellt. Außerdem verschlechtert die Anonymisierung häufig die Qualität der Daten im
Sinne des Maschinellen Lernens. Ersetzt man z. B. in Kundendatenbanken Kontaktdaten, Kaufzeitpunkte
und IP-Adressen durch Platzhalter wie „[Kontaktdaten]“, „[Kaufzeitpunkte]“ und „[IP-Adresse]“, dann sind
die Daten nur noch bedingt aussagekräftig.
Pseudonymisierung
umfasst, ähnlich der Anonymisierung, verschiedene Methoden der Datenverarbeitung,
um personenbezogene Informationen in Datensätzen unzugänglich zu machen. Sie wird in Artikel 4 der
DSGVO rechtlich definiert und kann die Zulässigkeit einer Verarbeitung personenbezogener Daten
ermöglichen oder erleichtern. Bei der Pseudonymisierung wird das Identifikationsmerkmal durch ein
Pseudonym, beispielsweise eine Ziffernfolge ersetzt. Die Zuordnung von Pseudonymen und
Identifikationsmerkmalen wird getrennt vom Datensatz aufbewahrt. Ohne die Information darüber, welches
Pseudonym zu welchem Identifikationsmerkmal gehört, ist der Personenbezug bei erfolgreicher
Pseudonymisierung nicht herstellbar. Anders als bei der Anonymisierung kann der Personenbezug deshalb
bei Bedarf wiederhergestellt werden, wobei auf die getrennt gespeicherte Zuordnung zurückgegriffen wird.
Im Rechtsinne bleibt bei pseudonymisierten Datensätzen dementsprechend ein Personenbezug bestehen,
sodass diese weiter in den Geltungsbereich der DSGVO fallen.
Sowohl beim anonymisierten als auch beim pseudonymisierten Datensatz gibt es nach heutigen Verfahren in
der Regel keine absolute Sicherheit dafür, dass der Datensatz keine verwertbaren personenbezogenen
Informationen mehr enthält. Für die erfolgreiche Rückgewinnung der personenbezogenen Informationen
werden jedoch normalerweise Wissen über Schwachstellen des verwendeten Verfahrens und über potenziell
enthaltene Informationen (z. B. durch Zusammenführen mit anderen Datensätzen) sowie eine hinreichend
große Rechenleistung benötigt. Eine erfolgreiche Anonymisierung oder Pseudonymisierung zeichnet sich
deshalb dadurch aus, dass der potenzielle Aufwand der Rückgewinnung von personenbezogenen
Informationen den zu erwartenden Nutzen übersteigt.
110
Siehe Kapitel 6 des Mantelberichts [Ethische Perspektiven auf KI].
111
Rechtlich maßgeblich ist die verfassungsrechtliche wie datenschutzrechtliche Einordnung als Einwilligung im Sinne von Artikel
6 Absatz 1 Satz 1a DSGVO samt der damit einhergehenden Vorgaben. Die Enquete-Kommission Künstliche Intelligenz hat sich
entschieden, von „Datenfreigabe“ zu sprechen und nicht den häufig verwendeten Begriff „Datenspende“ zu benutzen; siehe dazu
auch den Bericht der Projektgruppe „KI und Gesundheit“ in Kapitel C. IV. [Künstliche Intelligenz und Gesundheit
(Projektgruppe 3)].
112
Vgl. Resch (2017): Nutzergenerierte Daten für Entscheidungsunterstützung in naher Echtzeit.
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 54 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Politischer Handlungsrahmen bezüglich KI und Daten
Wie beschrieben sind die Funktionsweise und Leistungsfähigkeit von KI-Systemen eng mit den sowohl im
Training, beim Test als auch in der Anwendung genutzten Daten verknüpft.
Ein deutscher bzw. europäischer Ansatz zur Entwicklung und Anwendung von KI muss daher auch
Antworten auf zentrale Herausforderungen in Bezug auf Vielfalt, Verfügbarkeit und Nutzung von Daten
sowie Datensicherheit und Datenschutz geben. Ein solcher Handlungsrahmen für den Umgang mit Daten
sollte die Besonderheiten der europäischen Datenökonomie berücksichtigen. Dabei ist die Förderung des
Zugangs zu Daten mit unseren Werten bezüglich eines selbstbestimmten Umgangs mit personenbezogenen
Informationen in Einklang zu bringen. Angesichts der Kritik an starker Konzentration des Zugangs zu Daten
bei großen, globalen Internetplattformen sind insbesondere dezentrale, auf Kooperation setzende
Datennutzungsmodelle anzustreben. Auch eine Weiterentwicklung der höchst unterschiedlichen Open-Data-
Gesetzgebung im Bund, in den Ländern und in Europa ist für die Entwicklung einer Datenpolitik zentral. Sie
muss den Grundrechtsschutz betonen und als Alternative zu Datenmodellen positioniert werden, die wie in
China von staatlichen Sicherheits- und Kontrollinteressen getrieben und wie in den USA stark von den
Interessen großer Internetplattformen und der Tech-Industrie geprägt sind.
In Bezug auf Einsatz und Nutzung von KI sind bei der Entwicklung eines solchen Datenmodells eine Reihe
von Aspekten hervorzuheben, die den breiteren Handlungsrahmen für die politische Gestaltung der
Schnittstelle zwischen KI- und Datenpolitik bilden. Im Folgenden werden diese Aspekte des allgemeinen
Handlungsrahmens weiter ausgeführt.
Die Verfügbarkeit von Daten
ist Grundvoraussetzung für Entwicklung und Einsatz von KI. Eine Förderung
der KI muss sich daher mit der Verbesserung der Verfügbarkeit von Daten befassen. Das Vorantreiben der
Digitalisierung und die Modernisierung von IT-Systemen schaffen die Grundlage für eine breitere
Verfügbarkeit von Daten. Das gilt für Regierung und Verwaltung ebenso wie für Unternehmen und
gemeinnützige Organisationen. Regierung und Verwaltung können eigene Datensätze als Open-Data-
Wirtschaft und Gesellschaft zur Verfügung stellen. Um einen echten Nutzen und Mehrwert sicherzustellen,
müssen hierbei gewisse Vorgaben beachtet werden. Zusätzliche politische Maßnahmen können die
Datenverfügbarkeit auch außerhalb von Regierung und Verwaltung verbessern. So fehlen in der
Wissenschaft oft die Ressourcen, in Forschungsprojekten erhobene Daten breiter zugänglich zu machen. Der
Austausch von Daten oder ihre gemeinsame Nutzung zwischen Unternehmen ist mit Rechtsunsicherheit,
insbesondere in Bezug auf das Kartellrecht, verbunden. Hier besteht, wie auch von der
Datenethikkommission angezeigt, Handlungsbedarf.
113
Neben der Förderung eines freiwilligen Teilens von
Daten spielen für die Verfügbarkeit von Daten auch Datenzugangsrechte eine wichtige Rolle. So wird
diskutiert, Unternehmen zu verpflichten, Daten zu teilen, wenn ein übergeordnetes öffentliches Interesse
besteht, wie z. B. bei der Entwicklung unternehmensübergreifender, intelligenter Mobilitäts- und
Energielösungen.
114
Des Weiteren wird auch im Wettbewerbsrecht die zunehmende Bedeutung des
Datenzugangs thematisiert und daran anschließend die Frage, ob marktbeherrschende Unternehmen im Sinne
der Förderung von Wettbewerb und Innovation dazu verpflichtet werden sollten, bestimmte Daten mit
Wettbewerbern zu teilen.
115
Datenstandards
Datenstandards befördern die organisationsübergreifende Nutzung von Daten und unterstützen breite
Anwendungsmöglichkeiten von bzw. Interoperabilität zwischen KI-Systemen. Auch das Zusammenführen
von Datensätzen aus unterschiedlichen Quellen wird mithilfe von Standards vereinfacht. Bei Open Data
sollten internationale Standards eingehalten werden und, wo notwendig, neue Standards etabliert werden.
Gerade in der Diskussion um den Einsatz von KI wird oft auf die Bedeutung von Datenqualität verwiesen.
Es kann, wie in Kapitel 2.2 des Mantelberichts [Qualität von Daten], beschrieben, jedoch keine
allgemeingültigen Standards für Datenqualität geben, weil die Anforderungen an Trainingsdatensätze immer
113
Vgl. Datenethikkommission der Bundesregierung (2019): Gutachten der Datenethikkommission der Bundesregierung, S. 145.
Die Datenethikkommission empfiehlt eine Weiterentwicklung der Rechtslage dahingehend, dass Datenpartnerschaften,
beispielsweise zum Zweck der Kooperation beim Datenaustausch oder beim Datenpooling, geprüft werden.
114
Vgl. Datenethikkommission der Bundesregierung (2019): Gutachten der Datenethikkommission der Bundesregierung, S. 154.
115
Vgl. Schallbruch et al. (2019): Ein neuer Wettbewerbsrahmen für die Digitalwirtschaft. Bericht der Kommission
Wettbewerbsrecht 4.0.
Deutscher Bundestag – 19. Wahlperiode
– 55 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

im konkreten Anwendungskontext zu definieren sind. Hierfür gilt es ein entsprechendes Bewusstsein und
Kompetenzen bei Anwenderinnen und Anwender sowie Aufsichtsbehörden zu schaffen. Angesichts der
Bedeutung von Daten für Training und Anwendung von KI-Systemen sind gegebenenfalls Vorgaben bzw.
Dokumentationspflichten im Hinblick auf Herkunft, Struktur und Verwendung von Datensätzen beim
Training von KI-Modellen zu entwickeln. Diese beschreiben dann auch die Grenzen der Systeme und tragen
so dazu bei, Anwendungsfehler zu vermeiden.
Dateninfrastrukturen
Verfügbarkeit und Standards bringen ohne Infrastrukturen zur Vorhaltung und Analyse von Daten wenig. Ob
einzelne Bürgerinnen und Bürger, kleine oder große Unternehmen oder Behörden – seit vielen Jahren gibt es
einen starken Trend, diese Infrastrukturen nicht mehr selbst aufzubauen oder zu betreiben, sondern sie als
ein „Cloud-Angebot“ von spezialisierten IT-Dienstleistern zu beziehen. Dabei ist eine große Abhängigkeit
von ausländischen Cloud-Anbietern entstanden. Diese verbinden das Angebot zum Datenvorhalten mit dem
Zugriff auf innovative Werkzeuge zur Datenverarbeitung. So ermöglichen die großen Anbieter über ihre
Cloud-Infrastruktur auch den Zugriff auf KI-Werkzeuge wie das Maschinelle Lernen. Die Abhängigkeit von
außerhalb der EU ansässigen Anbietern lässt sich nur durch Aufbau bzw. Stärkung eigener Kompetenzen
reduzieren. Hier verfügt die Verwaltung in der Beschaffung über einen wichtigen Hebel. Zusätzlich sollten
Kompetenzen europäischer Unternehmen in diesem Bereich gestärkt werden. Mit der GAIA-X-Initiative hat
die Bundesregierung eine europäische Initiative zum Aufbau einer vernetzten Dateninfrastruktur gestartet.
116
Im Forschungsbereich soll der Aufbau einer Nationalen Forschungsdateninfrastruktur Kompetenzen beim
Forschungsdatenmanagement vernetzen und stärken.
117
Beim Aufbau von Infrastrukturen ist auf nachhaltige
Verwendung von Ressourcen zu achten (siehe Kapitel 8 des Mantelberichts [KI und ökologische
Nachhaltigkeit]).
Datenschutz
Der wirtschaftliche und gesellschaftliche Nutzen von Daten und dem daraus ableitbaren Wissen sowie ihre
Bedeutung für die Förderung innovativer KI-Anwendungen sind groß. Allerdings sind zugleich bei der
Erhebung, Speicherung, Weitergabe und Auswertung von Daten Grundrechte zwingend zu beachten. Das
gilt nicht nur im staatlichen Sicherheitsbereich, wo der rechtsstaatliche Schutz der Bürgerinnen und Bürger
vor unverhältnismäßigen Grundrechtseingriffen zu gewährleisten ist. Im privatwirtschaftlichen Bereich ist
die DSGVO bei personenbezogenen Daten einzuhalten (siehe Kapitel 5 des Mantelberichts [KI und Recht]).
Datentreuhändermodelle sowie Datenassistenz oder -managementansätze bieten die Chance, die
Verbesserung der persönlichen Kontrolle über Daten und die Verbesserung des Datenzugangs in Einklang
zu bringen.
118
Der technische Datenschutz, wie z. B. dezentrales Lernen und Differential Privacy
119
, birgt
ebenfalls großes Potenzial, die Verbesserung von Datenschutz und Datenverfügbarkeit miteinander zu
vereinbaren. Bei der Anonymisierung von Datensätzen können KI-Systeme einen wichtigen Beitrag beim
Erkennen und Ersetzen von personenbezogenen Informationen leisten.
120
Zur Frage, ob die Anonymisierung
eines Datensatzes unter die DSGVO fällt, hat der Bundesbeauftragte für Datenschutz und
Informationsfreiheit
ein
Konsultationsverfahren
durchgeführt.
121
Rechtsunsicherheiten
bei
Anonymisierungsprozessen sollten reduziert werden, indem hierfür eine ausdrückliche Rechtsgrundlage
geschaffen wird. Diese und weitere Aspekte des Datenschutzes werden ausführlicher im Kapitel 5 des
Mantelberichts [KI und Recht] dargestellt.
Datensicherheit
116
Weitere Informationen dazu unter:
https://www.bmwi.de/Redaktion/DE/Artikel/Digitale-Welt/dateninfrastruktur.html
(zuletzt
abgerufen am 4. August 2020).
117
Weitere Informationen dazu unter:
https://www.forschungsdaten.org/index.php/Nationale_Forschungsdateninfrastruktur_-
_NFDI#n.C3.A4chste_Termine
(zuletzt
abgerufen am 4. August 2020).
118
Vgl. Datenethikkommission der Bundesregierung (2019): Gutachten der Datenethikkommission der Bundesregierung, S. 135.
119
Unter Differential Privacy versteht man eine formal nachweisbare Privatheitsgarantie für statistische Datenbanken.
120
Einen Ansatz, um Gesichter ohne Bezug zu real existierenden Personen generieren zu können, kann man beispielsweise hier
finden:
https://thispersondoesnotexist.com/
(zuletzt
abgerufen am 4. August 2020).
121
Vgl. Der Bundesbeauftragte für den Datenschutz und die Informationsfreiheit (2020): BfDI nutzt erstmals
Konsultationsverfahren.
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 56 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Neben der Beachtung des Datenschutzrechts ist im Umgang mit Daten auch ihr Schutz vor unbefugtem
Zugriff zu beachten. Dabei sind zur IT-Sicherheit notwendige rechtliche und technische Standards
einzuhalten und weiterzuentwickeln. Der Schutz von Trainingsdaten und im Betrieb von KI-Systemen
genutzten Daten ist notwendig, um Integrität und Funktionsfähigkeit von KI-Systemen gewährleisten zu
können. Eine vertiefte Befassung mit diesem Thema findet sich im Bericht der Projektgruppe „KI und Staat“
in Kapitel C. III. [Künstliche Intelligenz und Staat (Projektgruppe 2)].
3
KI und Umgang mit Bias/Diskriminierung
122
Die Diskriminierung bestimmter Gruppen ist ein Phänomen, das in unserer Gesellschaft und weltweit seit
Langem existiert. Mit Diskriminierung ist dabei eine ungerechtfertigte Benachteiligung oder Bevorzugung
gemeint.
123
Auch KI-Systeme, die mit personenbezogenen Daten arbeiten, sind daher nicht automatisch frei
von Diskriminierung, sondern übernehmen bestehende Muster. Dies hat sich auch bereits in vielen Fällen
gezeigt, in denen in verschiedenen Ländern bereits eingesetzte KI-Systeme wegen Diskriminierung kritisiert
worden sind.
124
Um mögliche Diskriminierung beim Einsatz von KI zu verstehen, müssen sowohl die
technische Ebene der KI als auch das Umfeld betrachtet werden, in dem sie eingesetzt wird.
125
Ein KI-System hat in der Regel einen größeren Wirkungskreis als eine einzelne Person. Seine Überprüfung
bringt technische Herausforderungen mit sich, ermöglicht aber potenziell eine höhere Transparenz als bei
menschlichen Entscheidungen. Die Enquete-Kommission KI legt daher mit diesem Abschnitt ein besonderes
Augenmerk auf potenzielle Diskriminierung durch KI-Systeme und auf Handlungsbedarfe, um diese in
gesellschaftlich problematischen Fällen und insbesondere bei Rechtsverstößen zu verhindern.
Begriffsklärung Bias
In der Informatik bezeichnet man mit Bias ein Fehlverhalten, das auf einer systematischen Verzerrung
beruht.
126
Da das Verhalten von KI-Systemen auf gelernten Zusammenhängen basiert, ist in der Regel
127
die
Beschaffenheit
128
der dafür verwendeten Trainingsdaten für den Bias in KI-Systemen ursächlich.
Wie in Kapitel 1 des Mantelberichts [Begriffsklärung Künstliche Intelligenz] beschrieben, garantieren KI-
Systeme kein fehlerfreies Verhalten. Dabei kann grundsätzlich weder zufälliges noch systematisches
Fehlverhalten (also Bias) ausgeschlossen werden.
129
In den meisten Anwendungsfällen spielt die
Unterscheidung zwischen diesen beiden Arten von Fehlverhalten keine praktische Rolle, solange das KI-
System in der Gesamtbetrachtung eine akzeptable Qualität gewährleistet. Beispielsweise wäre ein System,
das handschriftliche Texte digitalisiert, möglicherweise akzeptabel, obwohl es den Buchstaben ß
systematisch als B erkennt, solange die Fehlerquote insgesamt gering ist.
122
Zu diesem Kapitel liegen Sondervoten aus der Fraktion der AfD [Sondervotum zu Kapitel 3 des Mantelberichts („KI und
Umgang mit Bias/Diskriminierung“) des Abgeordneten Dr. Marc Jongen sowie der Abgeordneten Joana Cotar und Peter Felser]
sowie aus der Fraktion der FDP [Sondervotum zu den Kapiteln 3 und 6.2.1 des Mantelberichts („KI und Umgang mit
Bias/Diskriminierung“ und „Autonomie (Selbstbestimmung des Menschen als Handelnder, Entscheidungsfreiheit, Nicht-
Manipulation)“) der Abgeordneten Mario Brandenburg, Carl-Julius Cronenberg, Daniela Kluckert und Jessica Tatti sowie der
sachverständigen Mitglieder Dr. Aljoscha Burchardt und Andrea Martin] vor.
123
Siehe Kapitel 6 des Mantelberichts [Ethische Perspektiven auf KI].
124
Vgl. O'Neil (2016): Angriff der Algorithmen; Noble (2018): Algorithms of oppression.
125
Die Verwendung von KI-Systemen kann auch schon dadurch Ungleichheit erzeugen, dass nur bestimmte Gruppen von ihnen
betroffen sind. Das gilt z. B. für algorithmische Systeme in den USA, die über Sozialleistungen (mit-)entscheiden und damit
hauptsächlich Arme und Arbeitslose betreffen, vgl. Eubanks (2018): Automating inequality.
126
Vgl. Datenethikkommission der Bundesregierung (2019): Gutachten der Datenethikkommission der Bundesregierung.
127
Natürlich kann in der Interaktion mit dem KI-System immer auch der Mensch ursächlich für Bias sein, beispielsweise durch
systematisch falsche Eingaben oder eine verzerrte Interpretation der Ergebnisse. Es ist darüber hinaus aber auch möglich, dass
auf einem ausgewogenen Datensatz trainierte KI-Systeme diskriminierendes Verhalten zeigen.
128
Die Beschaffenheit betrifft sowohl die Quantität der Daten (z. B. müssen genügend Daten auch zu Minderheiten vorliegen, um
Angehörige dieser Minderheit beispielsweise in Anwendungen der Gesichtserkennung identifizieren zu können) als auch die
Qualität (z. B. müssen Daten aktuell und nicht-diskriminierend annotiert sein, um keine Diskriminierung zu reproduzieren).
129
Tatsächlich ist das Erzeugen von Bias notwendig, um KI-Systemen das Generalisieren von Zusammenhängen zu ermöglichen,
vgl. Mitchell: The Need for Biases in Learning Generalizations.
Deutscher Bundestag – 19. Wahlperiode
– 57 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Diskriminierung durch Bias
130
Anders verhält es sich, wenn Bias zu Diskriminierung im rechtlichen
131
und moralischen
132
Sinne führt.
Diskriminierung entsteht also, wenn die Datenauswahl ein systematisches Fehlverhalten des KI-Systems
hervorruft, sodass Menschen aufgrund von äußeren und inneren Persönlichkeitsmerkmalen
ungerechtfertigt bevor- oder benachteiligt werden.
133
Im Folgenden werden mittels Beispielen einige
gängige Ursachen für datenbasierten Bias von KI-Systemen beschrieben, der zu Diskriminierung führt.
a)
Fehlende Diversität:
Ein KI-System zur Erkennung von Gesichtern benötigt Trainingsdaten, die die
Vielfalt der zu erkennenden Personen abbilden. Personengruppen, die in den Trainingsdaten wenig oder
nicht repräsentiert sind, werden möglicherweise schlechter erkannt
134
und können dadurch
beispielsweise beim Einsatz des KI-Systems bei der automatisierten Passkontrolle diskriminiert werden.
b)
Reproduzierte Diskriminierung:
Ein KI-System, das zur automatisierten Vorauswahl von
Bewerberinnen und Bewerbern eingesetzt wird, lernt im Training die Auswahlkriterien basierend auf
den in den Daten repräsentierten menschlichen Entscheidungen aus der Vergangenheit. Hat der Mensch
im ursprünglichen Auswahlprozess diskriminiert, wird das KI-System möglicherweise dieses Verhalten
reproduzieren
135
und somit die vorher bestehende Diskriminierung fortsetzen.
c)
Fairnesskonflikte:
Es gibt ca. zwei Dutzend mathematische Formeln, mit denen die Fairness von
algorithmischen Entscheidungen gemessen wird; jede entspricht einer bestimmten Idee von
Gerechtigkeit. Diese können – wie andere Gerechtigkeitsansprüche auch – miteinander unvereinbar
sein
136
und dann nicht gleichzeitig eingehalten werden. Ein Beispiel dafür wurde von dem
journalistischen
Thinktank
ProPublica
aufgedeckt:
Ein
System
zur
Vorhersage
des
Rückfälligkeitsrisikos irrte sich deutlich häufiger bei Afroamerikanerinnen und Afroamerikanern zu
deren Ungunsten als bei weißen Amerikanerinnen und Amerikanern – dies ist sicherlich nicht fair. Die
Softwareentwickler wiesen darauf hin, dass sie darauf achteten, dass eine Risikoklasseneinordnung für
alle Bevölkerungsgruppen dasselbe bedeutet. Eine Hochrisikoklassifizierung soll also für alle Personen
dieselbe Rückfälligkeitsgefahr anzeigen: Wenn 60 Prozent der gesamten Gruppe nachher rückfällig
werden, soll dies auch für alle Teilgruppen gelten und keine der Teilgruppen prozentual davon zu weit
abweichen. Auch das ist eine wichtige Forderung, damit dieselbe Aussage der Maschine statistisch auch
dieselbe Interpretation zulässt und nicht von weiteren Eigenschaften abhängt. Es konnte gezeigt werden,
dass diese beiden Ziele nicht miteinander vereinbar sind – es liegt ein Fairnesskonflikt vor.
Erkennung von Diskriminierung
Diskriminierung ist nicht immer leicht zu erkennen, speziell wenn sie auf einer Kombination verschiedener
expliziter und impliziter Merkmale basiert.
137
Technisch gesehen werden Diskriminierungen über die
Berechnung von sogenannten Fairnessmaßen entdeckt. Diese beruhen wiederum auf Qualitätsmaßen der
Entscheidungen, die von einer Maschine basierend auf einem Testdatensatz getroffen werden.
130
Zu diesem Kapitel liegt ein Sondervotum aus der Fraktion DIE LINKE. vor [Sondervotum zu Kapitel 3.2 des Mantelberichts
(„Diskriminierung durch Bias“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des sachverständigen Mitglieds Dr.
Florian Butollo].
131
Vgl. Artikel 21
der
Charta
der
Grundrechte
der
Europäischen
Union
(Nicht-Diskriminierung)
sowie
Artikel
3
des Grundgesetzes
und das Allgemeine Gleichbehandlungsgesetz (AGG).
132
Siehe auch Kapitel 6 des Mantelberichts [Ethische Perspektiven auf KI].
133
Nicht jede Ungleichbehandlung ist ungerechtfertigt (und somit diskriminierend), beispielsweise wenn Ungleichbehandlung dazu
führt, dass schützenswerte Minderheiten, z. B. Behinderte, einen besonderen Schutz erfahren.
134
Die Ursachen unterschiedlicher Erkennungsraten basierend auf Hautfarbe und Geschlecht wurden beispielsweise durch
Boulamwini und Gebru (2018): Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification
beschrieben.
135
Die Diskriminierung von Bewerberinnen bzw. Bewerbern basierend auf ihrem Geschlecht wurde beispielsweise in folgender
Publikation beschrieben: Kodiyan (2019): An overview of ethical issues in using AI systems in hiring with a case study of
Amazon’s AI based hiring tool.
136
Ein Beispiel für einen Fairnesskonflikt aus der analogen Welt betrifft beispielsweise die Frage, ob Sozialleistungen wie das
Kindergeld an alle Eltern gleichermaßen ausgezahlt werden sollen oder ob z. B. Geringverdienende stärker unterstützt werden
sollten.
137
Beispielsweise wäre ein System denkbar, das zwar weder in Bezug auf das Geschlecht noch die Hautfarbe noch das Alter
diskriminiert, aber dennoch afroamerikanische junge Frauen benachteiligt.
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 58 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Beispielsweise kann die Qualität eines KI-Systems daran gemessen werden, wie viele Entscheidungen für
ein Testdatenset von der Maschine korrekt getroffen wurden. „Korrekt“ heißt hierbei z. B., dass die Maschine
vorhersagt, dass eine Person aufgrund ihrer Eigenschaften vermutlich einen Kredit zurückzahlen wird und
eine andere nicht. Wenn dann in dem Testdatensatz – der aus der Vergangenheit stammt – die erste Person
auch wirklich den Kredit zurückgezahlt hat und die zweite nicht, gelten die Entscheidungen als korrekt.
Ein korrespondierendes Fairnessmaß würde verlangen, dass die Qualität der Entscheidungen für alle
Bevölkerungsgruppen nach ihrer sensitiven Eigenschaft getrennt (Geschlecht, Religion etc.) nicht zu stark
voneinander
abweicht.
Eine
Bank
sollte
also
wenn
die
Entscheidungen
eines
Kreditnehmerbewertungssystems auf der Basis eines Testdatensatzes zu 80 Prozent korrekt sind – prüfen, ob
die Fehleranfälligkeit der Entscheidungen auch für Kundinnen und Kunden ungefähr gleich ist, wenn sie
nach Geschlechtergruppen eingeteilt werden. Sollten die Entscheidungen für z. B. Frauen deutlich öfter
zutreffen als für Männer, hätten letztere weniger Zugang zu Krediten, als aufgrund ihrer Zahlkraft möglich
wäre.
Es ist wichtig zu bemerken, dass es meistens nicht möglich ist, die Qualität oder die Fairness eines KI-
Systems beliebig zu maximieren. Oftmals stehen sie miteinander in direktem Konflikt. Zudem gibt es auch
unter den Fairnessmaßen mindestens zwei Dutzend,
138
die auch miteinander in Konflikt stehen können.
139
Daher ist der wichtigste Schritt bei der Vermeidung von Diskriminierung eine genaue Definition des
Fairnessmaßes, das zu ihrer Entdeckung verwendet werden soll.
Vermeidung von Diskriminierung
Auch die Vermeidung erkannter Diskriminierung ist nicht immer einfach zu gewährleisten. Im Folgenden
werden einige Vermeidungsstrategien für die beschriebenen Arten von Bias aus dem letzten Abschnitt
diskutiert:
a)
Vermeidung von Diskriminierung durch fehlende Diversität:
In Deutschland werden oft keine
Informationen zu Religion, Hautfarbe, politischer Orientierung oder anderen Merkmalen erhoben,
aufgrund derer Diskriminierung stattfinden könnte. Sind diese Daten nicht vorhanden, kann man sie zur
Fairnesstestung von KI auch nicht benutzen, obwohl eine Diskriminierung stattfindet. Wenn
beispielsweise eine Bewerberin oder ein Bewerber aufgrund der Herkunft nicht zu einem
Bewerbungsgespräch eingeladen wird, diese Variable bei der Fairnessprüfung aber nicht zur Verfügung
steht, bleibt die Diskriminierung verborgen. Im oben beschriebenen Beispiel zur Gesichtserkennung
könnte die erfolgreiche Vermeidung von Diskriminierung auf der Beschaffung oder Generierung
weiterer Daten für unterrepräsentierte Personengruppen beruhen, sodass alle Gruppen gleich gut erkannt
werden. Sollte dies nicht möglich sein, ließe sich auch die Datenbasis für überrepräsentierte
Personengruppen verringern, um zu erreichen, dass alle Personengruppen gleich schlecht erkannt
werden, was allerdings natürlich zulasten der Qualität der Voraussagen geht.
b)
Vermeidung von reproduzierter Diskriminierung:
Ähnlich wie in Beispiel a ist auch bei dem
Beispiel zur Bewerberauswahl die Beschaffung weiterer Daten ein geeignetes Mittel zur Vermeidung
von Bias, solange es sich um Daten handelt, die diese Art der Diskriminierung nicht enthalten. In der
Praxis ist dies allerdings in den meisten Fällen nicht ohne Weiteres möglich. Alternativ könnte man hier
das bestehende System aber auch nutzen, um getrennte Rankings für jede Personengruppe zu erstellen
(also z. B. je ein Ranking für Männer und Frauen) und basierend darauf aus jeder Gruppe eine gleiche
Zahl von Personen auswählen. Dadurch würde also trotz des datenbasierten Bias im Verhalten des
trainierten Modells ein KI-System erstellt werden, das Diskriminierung zwischen Personengruppen
vermeidet.
c)
Vermeidung von Fairnesskonflikten:
Auch bei den Rückfallquoten für Straftäterinnen und Straftäter
könnte möglicherweise eine der unter a und b beschriebenen Maßnahmen helfen, die Diskriminierung
zu mindern. Allerdings zeigt gerade dieses Beispiel auch die in Kapitel 3.3 des Mantelberichts
[Erkennung von Diskriminierung] dargestellten Grenzen der technischen Diskriminierungsvermeidung
auf. Es ist nämlich nicht vordergründig eine technische Frage, ob es besser ist, den Gesamtfehler des
Systems zu minimieren, oder ob man eine höhere Fehlerquote akzeptiert, um eine höhere Fairness
herzustellen, sondern eine, die diejenigen treffen, die das KI-System anwenden wollen. Es ist in der
138
Vgl. beispielsweise Barocas et al. (2019): Fairness and Machine Learning Kapitel 2.
139
Vgl. Kleinberg et al. (2017): Inherent Trade-Offs in the Fair Determination of Risk Scores.
Deutscher Bundestag – 19. Wahlperiode
– 59 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Regel nicht möglich, alle gewünschten Fairnessmaße zu berücksichtigen, ohne gleichzeitig
ungewünschte
Nebeneffekte
in
Kauf
zu
nehmen,
wie
beispielsweise
die
erwähnten
Qualitätseinbußen.
140
Wie aus Beispiel c hervorgeht, ist es ein grundsätzliches Problem bei der Vermeidung von Diskriminierung,
dass es oft – sofern nicht durch das Rechtssystem vorgegeben – keine allgemein akzeptierte Definition von
Fairness gibt. Wie in den Kapiteln 3 [KI und Umgang mit Bias/Diskriminierung] und 5 [Ethische
Perspektiven auf KI] des Mantelberichts, gezeigt, muss die normative Vorgabe dazu aus einem
interdisziplinären und gesellschaftlichen Diskurs kommen. Eine gemeinsame Definition von Fairness ist
insbesondere im globalen Kontext offenkundig schwer zu finden.
Handlungsempfehlungen
141
1)
Zu Diskriminierungserkennung und -vermeidung in KI-Systemen wurde in den letzten Jahren viel
geforscht.
142
Der nächste Schritt, der Transfer dieser Erkenntnisse in den Software-Entwicklungsalltag,
sollte gefördert werden, damit die Erkenntnisse möglichst schnell und breit umgesetzt werden können
und durch Forschung begleitet werden.
2)
Im Rahmen der Maßnahmen für breite gesellschaftliche Bildung (Schule, Ausbildung, Beruf) muss das
Verständnis für die Funktionsweise von Algorithmen und KI-Systemen gezielt in alle Bildungsbereiche
integriert werden.
143
3)
Individuen müssen in der Lage sein, sich gegen Diskriminierung durch KI genauso zur Wehr zu setzen
wie in anderen Fällen. Um dies sicherzustellen, braucht es, wenn KI über Menschen urteilt, einen
Anspruch auf Transparenz, Nachvollziehbarkeit und Erklärbarkeit von KI-Entscheidungen, damit eine
gerichtliche Überprüfung automatisierter Entscheidungen möglich ist.
4
KI und Umgang mit Risiko
144
Der Umgang mit Risiken ist ein häufig diskutiertes Thema, wenn es um den Einsatz von KI-Systemen geht.
In diesem Abschnitt soll kurz in das Thema Risikomanagement eingeführt und es sollen KI-spezifische
Aspekte und Ansätze diskutiert werden.
Begriffsklärung Risiko
Unter einem Risiko versteht man im Allgemeinen einen möglichen negativen Ausgang einer Unternehmung,
der mit Nachteilen, Verlusten oder Schäden verbunden ist.
145
Solche Unternehmungen können also
verschiedene Ausgänge nehmen, bei denen einige unerwünscht sind oder unerwünschte Nebeneffekte haben.
Risiken sind dementsprechend immer verbunden mit Unsicherheiten bezüglich des Schadenseintritts und des
konkreten Ausgangs. Erwähnenswert ist in diesem Zusammenhang, dass auch das Unterlassen eine
risikobehaftete Unternehmung sein kann, wenn dadurch negative Folgen möglich sind.
146
140
Eine detaillierte Diskussion möglicher Konflikte findet sich bei Corbett-Davies und Goel (2018): The Measure and Mismeasure
of Fairness: A Critical Review of Fair Machine Learning.
141
Zu diesem Kapitel liegt ein Sondervotum aus der Fraktion DIE LINKE. vor [Sondervotum zu Kapitel 3.5 des Mantelberichts
(„Handlungsempfehlungen“ zu „KI und Umgang mit Bias/Diskriminierung“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti
sowie des sachverständigen Mitglieds Dr. Florian Butollo].
142
Auf Google Scholar sind über 30 000 wissenschaftliche Artikel seit dem Jahr 2016 gelistet, die die Wörter „discrimination“,
„AI“ und „algorithm“ enthalten. Zudem gibt es seit dem Jahr 2018 eine eigene Konferenz der renommierten ACM dazu, die
„ACM Conference on Fairness, Accountability and Transparency“ (ACM FAccT). Das BMBF fördert dazu das Projekt „Fair
and Good ADMs“, das erforscht, welche politischen Prozesse zu fairen und qualitativ hochwertigen KI-Systemen führen
können, wenn der Staat diese entwickelt, einkauft oder einsetzt.
143
Siehe auch den Bericht der Projektgruppe „KI und Staat“ in Kapitel C. III. [Künstliche Intelligenz und Staat (Projektgruppe 2)],
den Bericht der Projektgruppe „KI und Arbeit, Bildung, Forschung“ in Kapitel C. V. [Künstliche Intelligenz und Arbeit
(Projektgruppe 4)] und das Kapitel 7 des Mantelberichts [KI und Gesellschaft].
144
Zu diesem Kapitel liegt ein Sondervotum aus der Fraktion der SPD vor [Sondervotum zu Kapitel 4 des Mantelberichts („KI und
Umgang mit Risiko“) der Abgeordneten Daniela Kolbe, Elvan Korkmaz-Emre, Falko Mohrs, René Röspel und Jessica Tatti
sowie der sachverständigen Mitglieder Dr. Florian Butollo, Prof. Dr.-Ing. Sami Haddadin, Jan Kuhlen, Lena-Sophie Müller und
Lothar Schröder].
145
Vgl. Duden: Risiko.
146
Analog dazu § 13 Strafgesetzbuch (StGB), der „Begehen durch Unterlassen“ beschreibt.
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 60 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Der Umgang mit Risiken wird oft als Risikomanagement bezeichnet und ist u. a. durch die ISO-Norm
31000
147
standardisiert. Der Standard definiert dabei, in welcher Art Risiken beurteilt und gesteuert werden.
Bei der
Risikobeurteilung
werden risikobasierte Ereignisse in Bezug auf ihre Auswirkung und ihre
Wahrscheinlichkeit bewertet, typischerweise als Produkt aus Eintrittswahrscheinlichkeit eines Schadens und
Schadenshöhe. Auswirkungen von Risiken können je nach Kontext sehr unterschiedlich sein und z. B.
finanzielle Einbußen, Komfortverlust, Stabilität von Wirtschaftssystemen, Einschränkung von Rechten oder
körperliche Schäden umfassen.
Basierend auf dieser Beurteilung werden in der
Risikosteuerung
Maßnahmen definiert, die diese Risiken
z. B. vermeiden oder sowohl die Eintrittswahrscheinlichkeit als auch die Auswirkungen vermindern, aber
auch Maßnahmen, die die Risiken transferieren oder akzeptieren.
Transparenz, Nachvollziehbarkeit und Erklärbarkeit
Wie in Kapitel 1 des Mantelberichts [Begriffsklärung Künstliche Intelligenz] beschrieben, sind bei KI-
Systemen die gelernten Zusammenhänge oft nicht direkt zugänglich – dies wird oft auch als Black-Box-
Problematik bezeichnet –, da sie nicht wie bei klassischen Algorithmen in Form von menschenlesbaren
Regeln
existieren,
sondern
in
ihren
derzeitigen
Ausprägungen
lediglich
als
komplexe
Berechnungsvorschriften vorliegen, deren Ausprägung maßgeblich von den für das Lernen genutzten Daten
abhängt. Deshalb werden im Kontext von KI-basierten Risiken häufig Transparenz, Nachvollziehbarkeit und
Erklärbarkeit von diesen Systemen thematisiert. In der Praxis werden diese Begriffe oft synonym verwendet.
Sie beziehen sich aber auf verschiedene Aspekte der Offenlegung, die im Weiteren grundlegend definiert
werden.
Transparenz
bezieht sich auf die Frage nach dem „Was“. Sie hat zum Ziel, den Einsatz von KI-
Komponenten in einem System erkennbar zu machen und seine relevanten Eigenschaften zu beschreiben.
Dies kann Informationen über die Güte der Komponenten, die Art und Menge der zum Training genutzten
Daten sowie Maßnahmen zur Qualitätssicherung und Kontrolle umfassen. Diese Kenntnis ist notwendig, um
eine bewusste Entscheidung über die Nutzung des KI-Systems zu ermöglichen.
Nachvollziehbarkeit
bezieht sich in diesem Zusammenhang auf die Möglichkeit, die transparent gemachten
Eigenschaften eigenständig und unabhängig überprüfen zu können. Dafür ist es typischerweise notwendig,
Zugang zu Systemschnittstellen zu schaffen, um das Verhalten des Systems mit eigenen Eingaben und
Interaktionen zu validieren.
Erklärbarkeit
bezieht sich auf die Frage nach dem „Warum“. Durch sie kann das Verhalten der KI-
Komponenten und ihr Zusammenspiel in einer konkreten Situation verstanden werden. Diese Kenntnis
ermöglicht es, Entscheidungen des KI-Systems auf ihre Einflussfaktoren zurückzuführen und so die Ursache
von einzelnen Entscheidungen nachzuvollziehen.
Der Grad der Erklärbarkeit ist stark von den jeweils eingesetzten Komponenten abhängig. Dabei ist zu
beachten, dass KI-Komponenten mit einem geringen Grad an Erklärbarkeit in den meisten Fällen die höhere
Qualität zeigen und oft nicht adäquat ersetzt werden können, weil besser erklärbare Alternativen mit den
benötigten Funktionalitäten oder Qualitätseigenschaften nicht existieren. Die Erklärbarkeit von KI-Systemen
hängt aber auch vom Grad der Expertise der begutachtenden Person ab, da mit dem Verständnis über die
Wirkweise der jeweiligen KI-Komponente auch die Fähigkeit steigt, das Verhalten verstehen zu können.
Deshalb wurde die Erklärbarkeit von KI-Systemen als ein wichtiges Forschungsgebiet identifiziert, das in
Deutschland gezielt gefördert wird.
148
Schäden durch Fehlentscheidungen oder Diskriminierung lassen sich daher für die oder den Einzelnen oder
für die Interessensvertretungen nur schwer nachvollziehen und könnten eventuell verbessert werden, wenn
ihnen Einsicht in die Verwendung und Entscheidungslogik des KI-Systems gewährt würde. Gleichzeitig
eröffnet der Einsatz von KI-Systemen im Vergleich zu Menschen zusätzliche Möglichkeiten der
Nachvollziehbarkeit, weil trainierte Systeme sich einfach automatisiert testen lassen und bei dieser
Überprüfung ihr Verhalten nicht verändern.
147
Vgl. iso.org: ISO 31000.
148
Vgl. Bekanntmachung der Richtlinie zur Förderung von Projekten zum Thema „Erklärbarkeit und Transparenz des Maschinellen
Lernens und der Künstlichen Intelligenz“ vom 14. März 2019, Bundesanzeiger vom 4. April 2019.
Deutscher Bundestag – 19. Wahlperiode
– 61 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Die
für
Transparenz,
Nachvollziehbarkeit
und
Erklärbarkeit
notwendige
Offenlegung
von
Implementierungsdetails und Zugängen zu KI-Systemen, ihren KI-Komponenten wie Modellen,
Trainingsroutinen und zum Lernen verwendeten Daten geht in vielen Fällen allerdings auch mit der
Offenlegung
von
Betriebs-
und
Geschäftsgeheimissen
149,
behördlichen
Geheimnissen
150
und
schutzbedürftigen Daten
151
einher. Zudem kann die vollständige Veröffentlichung von Algorithmen oder der
freie Zugang zu Daten neben den positiven Auswirkungen der Erklärbarkeit, Transparenz und
Nachvollziehbarkeit durchaus auch für die Gesellschaft ungewollte Folgen haben, z. B. in Bezug auf die
Privatheit.
In der Praxis wird der Zugang deshalb üblicherweise nur einem begrenzten Personenkreis
152
ermöglicht, der
über die notwendige Expertise zur Begutachtung verfügt und sich zur Geheimhaltung verpflichtet. Der
erforderliche Grad an Transparenz, Nachvollziehbarkeit und Erklärbarkeit ist dabei immer eine Abwägung
zwischen den berechtigten Interessen an der Offenlegung einerseits und dem Informationsschutz
andererseits.
Die
Definitionen
von
Transparenz,
Nachvollziehbarkeit
und
Erklärbarkeit
sind
dementsprechend nicht als grundsätzliche Anforderungen für den Einsatz von KI-Systemen im Allgemeinen
zu verstehen. Die jeweils gestellten Anforderungen sollten stattdessen auf einer sektor- und
anwendungsspezifischen Bewertung beruhen.
Sektorspezifisches Risikomanagement
Basierend auf dem allgemeinen Rahmen für Risikomanagement werden Systeme in vielen Industriesektoren
einer Risikobeurteilung unterzogen und dabei in Risikoklassen eingeteilt.
Die Risikoklassifizierung erfolgt auf der Grundlage unterschiedlicher Kriterien wie beispielsweise der
Gefahr für Menschen, der Gefahr für das Wirtschaftssystem oder der Gefahr des Verlusts der Geldanlage.
Auch für die Einstufung sind sektorabhängig unterschiedliche Akteure verantwortlich. In einfachen Fällen
ist dies oft der Hersteller selbst. Je höher die Risikoklasse ist, desto unabhängiger muss die beurteilende
Instanz sein.
Ausgehend von dieser Risikobeurteilung werden für die verschiedenen Risikoklassen dann unterschiedliche
Maßnahmen zur Risikosteuerung definiert. Hier kann es sich beispielsweise um Sicherheitsvorschriften
handeln, die umgesetzt werden müssen und deren Einhaltung regelmäßig und nach bestimmten Kriterien
überprüft wird.
Für die Prozessindustrie
153
gilt beispielsweise die Sicherheitsnorm IEC 61511, die das Risikomanagement
für den Einsatz von elektrischen, elektronischen und programmierbar elektronischen Geräten in
Industrieanlagen regelt.
154
Das Risiko wird hier – basierend auf dem Ausmaß des möglichen finanziellen
Schadens, der Zeitdauer des Aufenthalts von Personen im Gefahrenbereich, der Möglichkeit der
Gefahrenabwehr und der Eintrittswahrscheinlichkeit – in vier Risikoklassen unterteilt (SIL1 – SIL4). Für
jede dieser Risikoklassen gelten dementsprechend spezifische Auflagen. Diese können bei SIL1 von einer
unabhängigen Einzelpersonen überwacht werden und bei SIL2 von einer unabhängigen Abteilung. Ab SIL3
muss das Unternehmen eine Organisation wie den TÜV mit der Überwachung beauftragen.
Ein weiteres Beispiel ist die Aufsicht über Versicherungsunternehmen und Pensionsfonds durch die
Bundesanstalt für Finanzdienstleistungsaufsicht (BaFin). Diese teilt die betreffenden Finanzdienstleister in
vier Risikoklassen (A – D) ein und richtet daran die Intensität ihrer Aufsicht aus.
155
Die Hauptkriterien für
149
Betriebsgeheimnisse umfassen technisches Wissen, Geschäftsgeheimnisse umfassen kaufmännisches Wissen; beide sind für den
wirtschaftlichen Erfolg eines Unternehmens maßgeblich.
150
Zu den behördlichen Geheimnissen gehört beispielsweise das Wissen über die Methoden der Strafverfolgung, das von
potenziellen Täterinnen und Tätern genutzt werden könnte.
151
Schutzbedürftige Daten sind beispielsweise personenbezogene oder urheberrechtlich geschützte Daten sowie Daten, die durch
ihre Veröffentlichung an Wert verlieren.
152
Dies können z. B. Gutachterinnen und Gutachter oder auch Zertifizierungsstellen sein.
153
Die Prozessindustrie umfasst u. a. Unternehmen aus den Bereichen Chemie, Pharmazie und Lebensmittelherstellung.
154
Für eine detaillierte Erklärung sei hier auf die Broschüre von Siemens verwiesen:
https://www.automation.siemens.com/w1/efiles/automation-technology/pi/sil/sil_broschuere_de.pdf
(zuletzt
abgerufen am
4. August 2020).
155
Die beschriebene Vorgehensweise der BaFin wird auf folgender Seite im Detail erläutert:
https://www.bafin.de/DE/PublikationenDaten/Jahresbericht/Jahresbericht2016/Kapitel4/Kapitel4_2/Kapitel4_2_1/kapitel4_2_1_
node.html
(zuletzt
abgerufen am 4. August 2020).
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 62 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

die Einteilung sind dabei die Marktauswirkung des Unternehmens und dessen Qualität. Darüber hinaus
werden Versicherungsunternehmen durch die BaFin zusätzlich bezüglich ihrer Tätigkeit gruppenweise
156
in
Risikoklassen unterteilt.
Auch für Medizinprodukte gibt es eine spezifische Risikoklassifizierung, bei der die entsprechenden
Risikoklassen EU-weit über die Verordnung (EU) 2017/745
157
definiert sind. Diese umfasst vier Klassen (I,
IIa, IIb, III). Die Zuordnung richtet sich nach der Verletzbarkeit des menschlichen Körpers und basiert u. a.
auf der Dauer der Anwendung und dem Grad der Invasivität. Daraus abgeleitet ergeben sich für jede der
Klassen unterschiedliche Anforderungen an die Zulassungsverfahren.
Weitere Risikoklassifizierungen finden sich in nahezu allen Bereichen. Wie in den beschriebenen Beispielen
gilt für die meisten, dass sie nicht den Einsatz spezifischer Technologien regeln oder beschränken, sondern
sich unabhängig von der konkreten Art der Umsetzung auf die Gefahrentiefe und -wahrscheinlichkeit
beziehen und dass sich hieraus Maßnahmen zu Aufsicht, Einsatz und Kontrolle ableiten lassen.
KI-spezifisches Risikomanagement
Für KI-Systeme wird momentan die Notwendigkeit von sektorenübergreifendem Risikomanagement
diskutiert, das KI-spezifische Schadenspotenziale adressieren soll. Die durch die Bundesregierung
eingesetzte Datenethikkommission (DEK) empfiehlt in ihrem Abschlussbericht
158
die Entwicklung einer EU-
Verordnung für algorithmische Systeme
159
und schlägt eine Klassifizierung in fünf Kritikalitäts-Stufen vor.
160
Diese richten sich nach dem Schädigungspotenzial der Anwendung.
Auch im Weißbuch der Europäischen Kommission zur Künstlichen Intelligenz
161
wird ein solcher
Kritikalitätsansatz gefordert. Im Unterschied zur Kritikalitätspyramide der Datenethikkommission sollen hier
nicht „algorithmische Systeme“, sondern KI-Anwendungen
162
auf ihre Kritikalität geprüft werden. Die EU-
Kommission ist im Gegensatz zur DEK der Ansicht, dass sowohl der Sektor als auch die beabsichtigte
Verwendung der KI-Anwendung in diesem Sektor
163
betrachtet werden sollten, wenn es um die
Risikobewertung unter den Gesichtspunkten Sicherheit, Verbraucherrechte und Grundrechte geht. Diese
Risikoklassifizierung erfolgt dann in zwei Klassen, eine Anwendung ist entweder eine Anwendung mit
„hohem Risiko“ oder eine Anwendung „ohne hohes Risiko“. Wenn die KI-Anwendung als
Hochrisikoanwendung klassifiziert ist, muss ein umfangreicher Katalog an Anforderungen erfüllt werden,
um eine Anwendung in der Praxis zu realisieren. Außerdem wird in dem Weißbuch ein nationales und
europäisches Netzwerk von Regulierungsbehörden bei KI-Systemen mit einem „hohem Risiko“ gefordert.
Dabei soll u. a. an bestehende vertikale behördliche Strukturen angeknüpft werden.
156
Dies geschieht auf Grundlage der EU-Direktive 2009/138/EC, beschrieben unter:
https://www.bafin.de/DE/Aufsicht/VersichererPensionsfonds/Aufsichtsregime/SolvencyII/solvency_II_node.html
(zuletzt
abgerufen am 4. August 2020).
157
Verordnung (EU) 2017/745 vom 5. April 2017 über Medizinprodukte.
158
Vgl. Datenethikkommission der Bundesregierung (2019): Gutachten der Datenethikkommission der Bundesregierung.
159
Ein algorithmisches System besteht nach Definition der Datenethikkommission „in der Regel aus einer Vielzahl von
Algorithmen“ (vgl. Datenethikkommission der Bundesregierung (2019): Gutachten der Datenethikkommission der
Bundesregierung, Teil C). Allerdings legt die Datenethikkommission entsprechend ihres Auftrags den Schwerpunkt auf
„intelligente“ Algorithmen (Teil F).
160
Die DEK baut auf dem Vorschlag von Krafft und Zweig auf (vgl. Krafft und Zweig (2019): Transparenz und
Nachvollziehbarkeit algorithmenbasierter Entscheidungsprozesse), der bis zu fünf Risikoklassen vorsieht, wobei für die erste
Klasse (Stufe 0) keinerlei Pflichten gefordert werden, während für die letzte Klasse (Stufe 4) aus technischen Gründen oder weil
ihr Einsatz grundlegende Rechte verletzen würde, KI-Systeme nicht geeignet sind.
161
Vgl. Europäische Kommission (2020): Weißbuch zur Künstlichen Intelligenz – ein europäisches Konzept für Exzellenz und
Vertrauen.
162
Englischer Wortlaut: „AI applications“, vgl. Europäische Kommission (2020): Weißbuch zur Künstlichen Intelligenz – ein
europäisches Konzept für Exzellenz und Vertrauen, S. 17.
163
Es müssen „signifikante Risiken“ in der Anwendung entstehen; zu weiteren Ausführungen in diesem Zusammenhang, vgl.
Europäische Kommission (2020): Weißbuch zur Künstlichen Intelligenz – ein europäisches Konzept für Exzellenz und
Vertrauen, S. 17.
Deutscher Bundestag – 19. Wahlperiode
– 63 –
Drucksache
19/
23700
Vorabfassung
wird
durch
die
endgültige
Fassung
ersetzt.

Auch in anderen Ländern werden Möglichkeiten der Bewertung und Einstufung von algorithmischen
Systemen entwickelt, häufig mit einer differenzierten Betrachtungsweise, die die Vielzahl potenzieller
Algorithmen sowie die Möglichkeit abbilden, diese zu kombinieren und weiterzuentwickeln.
164
Die Möglichkeit einer pauschalen Kritikalitätseinstufung von KI-Systemen vor ihrem Einsatz ist durch ihren
Status als Werkzeug, unterstützende Software und Entscheidungshilfe in einem spezifischen Einsatzkontext
begrenzt. Erst die Betrachtung des individuellen Anwendungskontextes und der individuellen
Einsatzumgebung erlauben eine umfassende Bewertung der mit dem Gebrauch von Algorithmen und KI-
Systemen einhergehenden Kritikalität.
Um ein ganzheitliches Bild der Risikolandschaft zeichnen zu können, ist es in diesem Prozess darüber hinaus
sinnvoll, das kontextspezifische Referenzszenario einzubeziehen, in dem kein KI-System zum Einsatz
kommt. Denn oftmals bestehen in den Einsatzszenarien auch ohne den Einsatz von KI bereits Risiken (ggf.
sogar größere als mit dem Einsatz von KI), die ebenso bewertet werden müssen. Zudem müssen auch die
Eintrittswahrscheinlichkeit von Risiken und der jeweilige Nutzen des KI-Einsatzes gegenüber dem Risiko
abgewogen werden. Auch der begleitende Prozess des Einsatzes von KI-Systemen kann für eine umfassende
Kritikalitätsabschätzung relevant sein. Bei der verpflichtenden Einführung einer solchen Abschätzung in
Form eines Prüfprozesses sind zudem Aufwand und Kosten, insbesondere für KMU und Start-ups, sowie die
Auswirkung auf die allgemeine Innovationsfähigkeit der Unternehmenslandschaft zu berücksichtigen. Zur
Kommunikation der getroffenen Einstufungen an Außenstehende können Labels oder Kennzeichnungen
ähnlich der von Energieverbrauchskennzeichnungen für elektronische Geräte entwickelt und genutzt werden.
Handlungsempfehlungen
165
1.
Deutschland sollte sich aktiv dafür einsetzen, dass das EU-Weißbuch zu einer EU-weit einheitlichen
Strategie zum Umgang mit allgemeinen und sektorspezifischen Risiken beim Einsatz von KI-
Systemen weiterentwickelt wird. Erforderlich sind beispielsweise geeignete Zertifizierungsverfahren,
Zulassungsverfahren und Selbstverpflichtungen
166
für KI-Systeme.
2.
Bestehende sektorspezifische Regelungsregime sollten geprüft und um KI-spezifische Vorgaben
erweitert werden, sofern durch den Einsatz von KI im jeweiligen Einsatzkontext zusätzliche Risiken
entstehen.
3.
Praktische Ansätze zum Risikomanagement für den Einsatz von KI-Systemen in Unternehmen und
Behörden sollten gefördert und weiterentwickelt werden (Best Practice, Standardisierung).
4.
KI-Systeme sollten nicht unter Pauschalverdacht gestellt werden; durch Beschränkung auf Vorgaben
für Hochrisikoanwendungen sollte die Verhältnismäßigkeit gewahrt bleiben. Dabei sollte ein
differenzierender Ansatz verfolgt werden, der mögliche Anforderungen an die Transparenz und
Nachvollziehbarkeit der Systeme mit der Kritikalität des Systems im jeweiligen Anwendungsfall
begründet.
5.
Die Aufsicht und Durchsetzung von Vorgaben sollte primär jeweils den sektoralen Aufsichtsbehörden
zugewiesen werden, die bereits sektorspezifische Sachkompetenz ausgebildet haben. Diese Behörden
müssen mit den dafür erforderlichen Skills sowie finanziellen, personellen und technischen
Ressourcen ausgestattet werden.
167
Die Zivilgesellschaft, d. h. Bürgerinnen und Bürger, müssen in die
Lage versetzt werden, die Vorgaben mithilfe dieser Behörden durchsetzen zu können.
164
So z. B. in Kanada, weitere Informationen dazu unter:
https://www.canada.ca/en/government/system/digital-government/digital-
government-innovations/responsible-use-ai/algorithmic-impact-assessment.html
(zuletzt
abgerufen am 10. August 2020) oder
auch durch die EU-Leitlinien zur Ethik in der KI, vgl. Madiega (2019): EU-Leitlinien zur Ethik in der KI.
165
Zu diesem Kapitel liegt ein Sondervotum aus der Fraktion DIE LINKE. vor [Sondervotum zu Kapitel 4.5 des Mantelberichts
(„Handlungsempfehlungen“ zu „KI und Umgang mit Risiko“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des
sachverständigen Mitglieds Dr. Florian Butollo].
166
Vgl. auch Datenethikkommission der Bundesregierung (2019): Gutachten der Datenethikkommission der Bundesregierung.
167
Vgl. auch Datenethikkommission der Bundesregierung (2019): Gutachten der Datenethikkommission der Bundesregierung,
Empfehlung 55.
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 64 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

5
KI und Recht
Allgemeine Einführung zum Rechtsrahmen
Für die Möglichkeiten, KI-Systeme in der Unternehmenspraxis oder in der Verwaltung zu entwickeln und
einzusetzen, spielt der bestehende Rechtsrahmen eine wichtige Rolle. Im Folgenden wird ausgeführt, welche
rechtlichen Rahmenbedingungen es gibt und wo und wie sie weiterentwickelt werden könnten, um
Rechtssicherheit zu erzielen und damit KI-Innovationen auf eine sichere rechtliche Grundlage zu stellen.
Zunächst einmal ist festzuhalten, dass KI-Systeme schon heute nicht in einem rechtsfreien Raum entwickelt
und eingesetzt werden. Geltendes Recht bildet auch den Rahmen für die Entwicklung und den Einsatz von
KI-Systemen. In diesem Abschnitt werden insbesondere übergreifend anwendbare Rechtsvorschriften
behandelt. Eine Reihe von sektor- oder anwendungsspezifischen Vorschriften wird im Rahmen der
Projektgruppenberichte zu den jeweiligen Themen detaillierter behandelt.
Näher
eingegangen
wird
hier
auf
das
allgemeine
Datenschutzrecht,
einige
urheber-
und
wettbewerbsrechtliche Aspekte sowie auf die wichtigsten haftungsrechtlichen Regelungen. Grundsätzlich
handelt es sich sowohl beim Training von KI-Systemen als auch bei ihrem tatsächlichen Einsatz immer um
eine automatisierte Datenverarbeitung. Insofern sind zunächst einmal alle bestehenden Vorschriften
anwendbar, die Unternehmen und Behörden auch sonst bei der automatisierten Verarbeitung von Daten
beachten müssen. Dabei wird in vielen Fällen das Datenschutzrecht aus der DSGVO und den Bundes- und
Landesdatenschutzgesetzen zu beachten sein. Ferner sind hier beispielsweise das allgemeine Zivilrecht im
Bürgerlichen Gesetzbuch (BGB), das Wettbewerbsrecht mit dem Gesetz gegen den unlauteren Wettbewerb
(UWG)
und
das Urheberrecht
(UrhG)
anwendbar.
Für
den
öffentlichen
Sektor
sind
das
Verwaltungsverfahrensgesetz
(VwVfG)
und
spezielle
Verwaltungsvorschriften
einschlägig.
In
Organisationen
sind
zusätzlich
die
allgemeinen
arbeitsrechtlichen
Vorschriften,
der
Beschäftigtendatenschutz, das Allgemeine Gleichbehandlungsgesetz (AGG) und Arbeitsschutzvorschriften
sowie das Mitbestimmungsrecht (Betriebsverfassungsgesetz – BetrVG) zu beachten. Beim Inverkehrbringen
von Produkten, die lernende Komponenten enthalten, gibt es rechtliche Anforderungen an die physische
Sicherheit („Safety“), welche mit entsprechenden Haftungsregelungen unterlegt sind (Produkthaftungsgesetz
– ProdHaftG etc.). Beim Einsatz von KI-Systemen kann also eine Vielzahl von Gesetzen eine Rolle spielen;
je nach Einsatzgebiet sind neben den allgemeingültigen Vorschriften auch fachspezifische Regelungen und
Zulassungsregelungen zu beachten wie beispielsweise die EU-Medizinprodukteverordnung oder das
Straßenverkehrsgesetz (StVG).
Datenschutzrecht
168
KI-Systeme funktionieren nur auf Basis von Daten. Die seit dem 25. Mai 2018 geltende europäische
Datenschutz-Grundverordnung 2016/679 (DSGVO) enthält eine Reihe von Regelungen, die auf KI-Systeme
angewendet werden müssen, sofern sie personenbezogene Daten
169
verarbeiten. Weil solche Systeme eine
automatisierte Datenverarbeitung darstellen, gilt, dass jede Anwendung, in der personenbezogene Daten
verarbeitet werden, nur dann erlaubt ist, wenn es für sie eine gesetzliche oder vertragliche Grundlage gibt
oder die Anwenderin bzw. der Anwender die Einwilligung der Personen eingeholt hat, deren Daten
verarbeitet werden. Aus dem Anwendungsbereich der DSGVO fallen Informationen heraus, die sich von
vornherein nicht auf eine identifizierte oder identifizierbare natürliche Person beziehen oder die in einer
Weise anonymisiert worden sind, dass die betroffene Person nicht oder nicht mehr identifiziert werden
kann.
170
Wenn solche Daten z. B. für statistische oder für Forschungszwecke verwendet werden, ist die
DSGVO nicht anwendbar.
Fallen die vom KI-System verarbeiteten Daten in den Anwendungsbereich der DSGVO, gelten neben dem
Erfordernis einer gesetzlichen, vertraglichen oder einwilligungsbasierten Grundlage auch einige generell zu
beachtende Prinzipien. Das sind die rechtmäßige Verarbeitung nach Treu und Glauben, die Erforderlichkeit
der Verarbeitung zum festgelegten Zweck, die Beschränkung der Verarbeitung auf den festgelegten Zweck
168
Zu diesem Kapitel liegt ein Sondervotum aus der Fraktion DIE LINKE. vor [Sondervotum zu Kapitel 5.2 des Mantelberichts
(„Datenschutzrecht“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des sachverständigen Mitglieds Dr. Florian
Butollo].
169
Definition aus Artikel 4 Nummer 1 DSGVO, siehe auch Kapitel 2.5 des Mantelberichts [Personenbezogene Daten].
170
Erwägungsgrund 26 Satz 5 DSGVO; der Prozess der Anonymisierung selbst fällt jedoch unter die DSGVO.
Deutscher Bundestag – 19. Wahlperiode
– 65 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

(Zweckbindung), die Datenminimierung, die Richtigkeit der Daten, die begrenzte Speicherung bzw.
Verpflichtung zur Löschung nach Wegfall der Erforderlichkeit oder des Zwecks, die Wahrung von Integrität
und Vertraulichkeit der Daten (Artikel 5 Absatz 1 DSGVO). Wer Daten verarbeitet, ist dafür verantwortlich,
dass dies korrekt geschieht, und muss die Einhaltung der rechtlichen Vorgaben im Zweifel nachweisen
(Rechenschaftspflicht/Accountability aus Artikel 5 Absatz 2 DSGVO).
Für den Einsatz von KI-Systemen und die damit verbundenen Pflichten ist es also relevant, festzustellen, ob
die verwendeten Daten in den Anwendungsbereich der DSGVO fallen. Die Abgrenzung ist hier nicht immer
ganz einfach, weil auch auf den ersten Blick rein technische Daten, wie z. B. die Sensordaten einer Maschine
aus der Fabrikhalle, dann zu personenbezogenen Daten werden können, wenn sie in Kombination mit Daten
verarbeitet werden, die etwa Aussagen darüber treffen, wer die Maschine während der Erzeugung des
Sensordatums gerade bedient hat. Umgekehrt kann man personenbezogene Daten vor der Verarbeitung im
KI-System so bearbeiten, dass sie nicht mehr auf eine bestimmte Person zurückführbar sind. Dann spricht
man von anonymisierten Daten, die nicht mehr in den Anwendungsbereich der DSGVO fallen.
171
Die Anonymisierung von Daten, die z. B. für das Trainieren von KI-Systemen verwendet werden sollen, ist
nicht trivial. Zum einen muss sichergestellt werden, dass der Personenbezug nicht wiederhergestellt werden
kann. Zum anderen ist aber wichtig, dass so viele Bezüge in den Daten wie möglich erhalten bleiben, damit
die Ergebnisse des Lernprozesses nicht verfälscht werden. Dazu gibt es verschiedene technische und
mathematische Ansätze wie K-Anonymität, „differential privacy“ oder „federated learning“.
172
Bei der
Anwendung muss sehr sorgfältig vorgegangen werden, um Verfälschungen der Ergebnisse zu vermeiden
oder zu minimieren.
173
Eine rechtliche Hürde für die Anwendung von Anonymisierungsverfahren in der
Praxis ist die momentan von deutschen Aufsichtsbehörden vertretene Ansicht, dass für den Vorgang der
Anonymisierung eine eigene Rechtsgrundlage notwendig sei, weil es sich hier um eine Datenverarbeitung
handelt.
174
Zudem ist teilweise unklar, ab wann tatsächlich der Zustand der Anonymisierung entsprechend
der Definition in der DSGVO erreicht ist.
Der Grundsatz der Zweckbindung
175
ist ein wichtiges Prinzip der DSGVO. In der Praxis kann dies bei KI-
Anwendungen mit personenbezogenen Daten zu Herausforderungen führen. Oft benötigen KI-Systeme sehr
viele Trainingsdaten, bis sie ihre Prognosen mit einer brauchbaren Wahrscheinlichkeit treffen. Dafür kann
nicht immer auf anonymisierte oder synthetische Daten zurückgegriffen werden.
176
Daten, die bereits für
andere Zwecke gesammelt wurden, können nur dann für weitere Zwecke verarbeitet werden, wenn diese
weiteren Zwecke mit den ursprünglichen Zwecken vereinbar sind oder nachträglich eine Einwilligung der
Betroffenen eingeholt wird. Ob eine Vereinbarkeit mit dem ursprünglichen Zweck besteht, muss anhand
einer Reihe verschiedener Kriterien wie z. B. Zusammenhang mit dem ursprünglichen Zweck oder auch
Erwartungshaltung der Betroffenen geprüft werden. Um die Vorhersehbarkeit für die Betroffenen nicht zu
gefährden, wird die Möglichkeit einer zweckändernden Verarbeitung eher eng auszulegen sein. Die
Unternehmen wünschen sich hingegen in Teilen eine weitere Auslegung der Zweckänderungsmöglichkeit,
um neue Erkenntnisse durch Verfahren zu erlangen wie z. B. durch solche, bei denen Muster in großen
171
Näheres zu Anonymisierung und Pseudonymisierungfinden sich in Kapitel 2 des Mantelberichts [KI und Daten].
172
Bei K-Anonymität werden Daten so preisgegeben, dass keine Rückschlüsse auf ein einzelnes Individuum gezogen werden
können. Unter „differential privacy“ versteht man eine formal nachweisbare Privatheitsgarantie für statistische Datenbanken.
Beim „federated learning“ oder föderalen Lernen werden die KI-Berechnungen, die für das Training des Algorithmus wichtig
sind, auf dem Endgerät selbst gemacht, also dort, wo die Daten entstehen bzw. eingetragen werden. Lediglich die Resultate der
Berechnungen, die Lernergebnisse des Algorithmus werden übertragen und zusammengeführt. Zu den Konzepten siehe
Buchmann: Datenschutz und Privatheit in vernetzten Informationssystemen.
173
Dazu beispielhaft Abadi et al. (2016): Deep Learning with Differential Privacy; Ah-Fat und Huth (2019): Optimal Accuracy-
Privacy Trade-Off for Secure Computations; Bellovin et al. (2019): Privacy and Synthetic Datasets; Choudhury et al. (2020):
Anonymizing Data for Privacy-Preserving Federated Learning sowie Bauer et al. (2018): Machine Learning und die
Transparenzanforderungen der DSGVO
,
siehe auch die Ausführungen in Kapitel 2 des Mantelberichts [KI und Daten].
174
Handlungsempfehlungen von Oliver Süme (Vorstandsvorsitzender, eco – Verband der Internetwirtschaft e. V.),
Kommissionsdrucksache 19(27)98 vom 13. Januar 2020, S. 2. Der Bundesbeauftragte für den Datenschutz und die
Informationsfreiheit (BfDI) hat zu diesem Thema ein öffentliches Konsultationsverfahren durchgeführt und ein Positionspapier
veröffentlicht, vgl. Der Bundesbeauftragte für den Datenschutz und die Informationsfreiheit (2020): Positionspapier zur
Anonymisierung unter der DSGVO unter besonderer Berücksichtigung der TK-Branche.
175
Zweckbindung nach Artikel 5 Absatz 1 DSGVO bedeutet, dass personenbezogene Daten für festgelegte, eindeutige und legitime
Zwecke erhoben werden müssen und nicht in einer mit diesem Zweck nicht zu vereinbarenden Weise weiterverarbeitet werden
dürfen.
176
Siehe auch die Ausführungen in Kapitel 2 des Mantelberichts [KI und Daten].
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 66 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

unstrukturierten Datenmengen gesucht werden. Argumentiert wird insbesondere, dass man in
Innovationsprozessen nicht unbedingt im Vorhinein wisse, wozu die Daten verwendet würden, und eine
weitere explorative Datenverwendung nötig sei, um ergebnisoffen in den Prozess zu starten. Ähnliches gilt
für das Prinzip der Datenminimierung, wo argumentiert wird, dass eine große Datenmenge gewisse
Innovationsprozesse erst ermögliche. Hier kann ein nicht ohne Weiteres aufzulösender Widerspruch
zwischen den Rechten der Betroffenen auf Vorhersehbarkeit der Nutzung ihrer Daten einerseits und dem
Innovationsinteresse von datenverarbeitenden Organisationen andererseits entstehen.
Beim Einsatz automatisierter Entscheidungssysteme für Entscheidungen mit rechtlicher Wirkung oder
ähnlicher Beeinträchtigung in erheblicher Weise für die betroffenen Personen gemäß Artikel 22 DSGVO
müssen zusätzlich aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und die
angestrebten Auswirkungen der Verarbeitung für die betroffene Person gegeben werden. Diese
Informationen sind auf ein Niveau begrenzt, das für durchschnittliche Nutzerinnen und Nutzer verständlich
ist, und sollen die Voraussetzung dafür bieten, individuelle Rechte und Freiheiten der Nutzerinnen und
Nutzer durchzusetzen. Nur teilweise unterstützen diese Vorgaben die systematische Gewährleistung
gruppenbezogener und gesellschaftsbezogener Ziele.
177
Zusätzlich gilt dann auch ein umfangreiches
Widerspruchsrecht der Betroffenen und, falls es keine entsprechende Vertragsbeziehung gibt, in der der
Einsatz des Systems erforderlich ist, haben Betroffene generell das Recht, nicht einer automatisierten
Entscheidung unterworfen zu sein, die ihnen gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher
Weise beeinträchtigt.
178
Eine weitere für den Einsatz von KI-Systemen relevante Vorgabe der DSGVO ist die sogenannte
Datenschutz-Folgenabschätzung, welche insbesondere bei Verwendung neuer Technologien vorgeschrieben
ist, bei denen aufgrund der Art, des Umfangs, der Umstände und der Zwecke der Verarbeitung
voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen besteht. In jedem Fall
durchzuführen ist die Datenschutz-Folgenabschätzung beispielsweise bei dem systematischen Profiling
179
als
Entscheidungsgrundlage oder bei der systematischen Überwachung im öffentlichen Bereich. Hierbei wird
umfassend untersucht, inwieweit die angedachte Datenverarbeitung in die Grundrechte betroffener Personen
eingreift und welche Folgen das für diese Personen haben könnte. Daraufhin sind entsprechende
Schutzmaßnahmen zu treffen, welche die festgestellten Risiken minimieren. Sollte es nicht möglich sein, die
Risiken zu minimieren, muss ggf. die Aufsicht eingeschaltet oder von der Anwendung Abstand genommen
werden. Die bisherigen Erfahrungen mit der Vorschrift haben gezeigt, dass ihre Umsetzung insbesondere für
kleine und mittlere Unternehmen nicht leicht ist, weil erhebliches Know-how und erhebliche Ressourcen
erforderlich sind, um eine rechtssichere Prüfung durchzuführen und zu dokumentieren.
180
Der durch die DSGVO geschaffene einheitliche Rechtsrahmen in der EU ist auch für die KI-Entwicklung
eine wichtige Errungenschaft. Denn er stellt einheitliche Vorgaben für den gesamten EU-Binnenmarkt sowie
für alle Anbieter auf, die innerhalb des Binnenmarktes aktiv sind und Daten europäischer Bürgerinnen und
Bürger verarbeiten. Damit wirkt er auf gleiche Wettbewerbsbedingungen und die Weiterentwicklung
datenschutzfreundlicher Technologien hin. Allerdings bedeutet die Vereinheitlichung der Vorschriften in
Form einer Verordnung noch nicht, dass die Vorschriften in den Mitgliedstaaten einheitlich durchgesetzt
werden. Zwar sieht die DSGVO Prozesse vor, die einer einheitlichen Auslegung und Durchsetzung der
Verordnung dienen sollen. Bislang haben diese jedoch nur punktuell zu abgestimmten Positionen der
Aufsichtsbehörden auf europäischer und nationaler Ebene geführt und Entscheidungen in Einzelfällen
obliegen weitgehend den einzelnen Datenschutzbehörden. Diese Praxis konterkariert das grundlegende Ziel
einer Vollendung des europäischen Binnenmarktes.
Die Durchsetzung der datenschutzrechtlichen Vorgaben gegenüber Unternehmen und Behörden obliegt in
Deutschland insgesamt 17 Aufsichtsbehörden sowie den sonst zuständigen europäischen Aufsichtsbehörden.
Die Befugnisse der Aufsichtsbehörden, um gegen Verstöße vorzugehen, wurden durch die DSGVO ergänzt
und gestärkt. Sie haben umfangreiche Untersuchungsbefugnisse, können Warnungen und Verwarnungen
aussprechen, Anordnungen treffen und empfindliche Geldbußen (Artikel 58 DSGVO) verhängen. Verstöße
gegen die Vorgaben der Verordnung können mit hohen Geldbußen (bis 4 Prozent des weltweiten
177
Vgl. Dreyer und Schulz (2018): Was bringt die Datenschutz-Grundverordnung für automatisierte Entscheidungssysteme?.
178
Teilweise wird diskutiert, ob Artikel 22 DSGVO auch für teilautomatisierte Entscheidungssysteme gelten sollte.
179
Darunter versteht man das systematische Erfassen von Verhaltenseigenschaften von einem oder mehreren Menschen.
180
Vgl. Bitkom e. V.: Zwei Drittel der Unternehmen haben DS-GVO größtenteils umgesetzt.
Deutscher Bundestag – 19. Wahlperiode
– 67 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Konzernumsatzes) geahndet werden und es gibt Schadensersatzansprüche (Artikel 82 bis 84 DSGVO).
Wirksame Durchsetzungsinstrumente sind also prinzipiell vorhanden. Föderale Zuständigkeiten und die
vorgegebene Unabhängigkeit der Stellen erschweren aber eine kohärente Rechtsauslegung. Die personellen
und materiellen Kapazitäten der Aufsichtsbehörden sind abhängig von den Zuweisungen in den jeweiligen
Landeshaushalten. Daher sind momentan Ressourcen und Know-how zur Überprüfung komplexer
technischer Sachverhalte nicht überall in erforderlichem Maße vorhanden.
Insofern ist eine solide gesetzliche datenschutzrechtliche Grundlage für die Verarbeitung von
personenbezogenen Daten durch KI-Systeme vorhanden. Es gibt jedoch noch keine gesicherte, einheitliche
Auslegung und Anwendung der gesetzlichen Vorschriften bei der Beurteilung von einzelnen
Anwendungsfällen im Zusammenhang mit dem Training oder Einsatz von KI-Systemen. Dies ist zum einen
der schnellen technologischen Entwicklung geschuldet, liegt aber auch an der nationalen Struktur der für die
Rechtsdurchsetzung zuständigen Behörden.
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 68 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Urheberrecht
Schutz von KI-Software
Die einzelnen unter KI zusammengefassten Systeme können als Computerprogramme im Sinne des
§ 69a UrhG
urheberrechtlich
geschützt
bzw.
urheberrechtlich
schutzfähig
sein.
181
Nach
§ 69a Absatz 2 Satz 2 UrhG können zwar allgemeingültige mathematische bzw. informatische Grundregeln
– einschließlich der Schnittstellen, auf denen das Programm beruht – nicht geschützt werden, geschützt ist
aber die „kreative“ Leistung der Programmierenden, also die konkrete Quellcode-Gestaltung durch die
Entwickelnden als konkreter Ausdruck eines Werkes, also nicht der bloße Informationsinhalt.
182
Sofern es
sich bei den zu betrachtenden Systemen deshalb nicht um sogenannte Banalprogramme
183
handelt, was bei
KI-Systemen ausgeschlossen wird,
184
sind sie schutzfähig.
185
Hieraus ergibt sich, dass die architektonische
Grundstruktur von beispielsweise künstlichen neuronalen Netzen (KNN) urheberrechtlich schutzfähig ist,
nicht jedoch die im Ergebnis brauchbare Konfiguration des „trainierten“ Netzwerkes.
186
Separat gespeicherte
Trainingsergebnisse eines KNN können aber grundsätzlich als Geschäftsgeheimnis schutzfähig sein.
187
Zugriff auf urheberrechtlich geschütztes Material
Daten, die ein KI-System verarbeitet, insbesondere beim Training im Rahmen des Maschinellen Lernens,
können urheberrechtlich geschützt sein, beispielsweise wenn es sich um Lichtbilder oder von Menschen
geschriebene Texte handelt oder sie als Datenbanken unter ein Leistungsschutzrecht fallen. Rechte sind
insoweit betroffen, als im Rahmen der Verarbeitung Vervielfältigungen oder Bearbeitungen entstehen,
gegebenenfalls auch bei der Verbreitung von Ergebnissen der Verarbeitung.
Aufgrund der Vielzahl an Eingaben, die für das Training eines KI-Systems erforderlich sind, ist eine
Lizenzierung oft nicht praktikabel. Insbesondere wenn die Trainingsdaten automatisiert aus dem öffentlich
zugänglichen Internet extrahiert werden (Webscraping), ist eine Klärung der Rechte im Einzelfall kaum
möglich.
188
Von großer Bedeutung ist daher in diesem Zusammenhang die Schranke für Text- und Data-Mining (TDM)
im Urheberrecht. Diese Nutzungserlaubnis ermöglicht die automatisierte Auswertung einer Vielzahl von
Werken zu Zwecken der nicht-kommerziellen wissenschaftlichen Forschung. Mit Artikel 3 und 4 der DSM-
Richtlinie
189
wurde eine europäische Regelung getroffen, wonach TDM auch für andere als wissenschaftliche
Zwecke zulässig sein soll. Die Mitgliedstaaten sollen demnach, anders als derzeit im deutschen
181
So im
Ergebnis
Linke
(2019):
Urheberrechtlicher
Schutz
von
„KI“
als
Computerprogramme
Squeezing
today´s
innovations
into
yesterday´s
system?,
S.
47;
für künstliche neuronale Netzwerke ebenso Ehinger und Stiemerling (2018): Die
urheberrechtliche Schutzfähigkeit von Künstlicher Intelligenz am Beispiel von Neuronalen Netzen, S. 766.
182
Vgl. Die Wissenschaftlichen Dienste des Deutschen Bundestags (2018): Autonomes und automatisiertes Fahren auf der Straße –
rechtlicher Rahmen, S. 17.
183
Unter dem Begriff „Banalprogramme“ fasst man Trivialsoftware, also alle Programme, die sich in einer technisch-mechanischen
Aneinanderreihung von vorbekanntem Material erschöpfen, die zum Gemeingut gehören oder vollständig auf rein alltäglicher
Programmierarbeit beruhen.
184
Vgl. Die Wissenschaftlichen Dienste des Deutschen Bundestags (2018): Autonomes und automatisiertes Fahren auf der Straße –
rechtlicher Rahmen, S. 18.
185
Auch der Bundesgerichtshof ist der Auffassung, dass jedenfalls die Art und Weise der Implementierung und Zuordnung
zueinander urheberrechtsschutzfähig sein kann:
vgl.
Linke
(2019):
Urheberrechtlicher
Schutz
von
„KI“
als
Computerprogramme
Squeezing
today´s
innovations
into
yesterday´s
system?,
S.
41.
186
Vgl. Ehinger und Stiemerling (2018): Die urheberrechtliche Schutzfähigkeit von Künstlicher Intelligenz am Beispiel von
Neuronalen Netzen, S. 768.
187
Vgl. Ehinger und Stiemerling (2018): Die urheberrechtliche Schutzfähigkeit von Künstlicher Intelligenz am Beispiel von
Neuronalen Netzen, S. 769.
188
In diesem Fall können natürlich neben dem Urheberrecht noch andere Rechte einer Verwertung entgegenstehen, insbesondere
der Schutz personenbezogener Daten. So ist beispielsweise die Nutzung einer Datenbank frei lizenzierter Fotos zur Entwicklung
von Gesichtserkennung unter diesem Aspekt kritisch diskutiert worden, vgl. Berger (2019): IBM nutzte Flickr-Fotos für
Gesichtserkennung, ohne Nutzer zu informieren.
189
Richtlinie (EU) 2019/790 vom 17. April 2019 über das Urheberrecht und die verwandten Schutzrechte im digitalen Binnenmarkt
und zur Änderung der Richtlinien 96/9/EG und 2001/29/EG (DSM-Richtlinie).
Deutscher Bundestag – 19. Wahlperiode
– 69 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Urheberrechtsgesetz, keinen finanziellen Ausgleich für diese Nutzung vorsehen
190
; entsprechend sieht auch
ein erster Diskussionsentwurf des Bundesjustizministeriums keine Vergütung vor.
191
Die Richtlinie unterscheidet eine Schrankenregelung für die wissenschaftliche Forschung und eine für alle
anderen Zwecke, wobei der wesentliche Unterschied darin besteht, dass bei der Verwendung von TDM für
nicht-wissenschaftliche Zwecke der Rechteinhaber eine Widerspruchsmöglichkeit erhält, etwa durch
maschinenlesbare Hinweise bei Onlineveröffentlichungen, wie sie heute schon üblich sind. Diese
Widerspruchsmöglichkeit könnte für Anwendungen, beispielsweise im Rahmen des Datenjournalismus,
problematisch sein.
Voraussetzung der Nutzungserlaubnis ist in jedem Fall der rechtmäßige Zugang zu den betreffenden Werken.
Auch technische Mittel wie Kopierschutzmaßnahmen können einer Nutzung praktisch im Weg stehen. Im
Fall des Minings für wissenschaftliche Zwecke ist die Nutzung zulässig, wenn ein rechtmäßiger Zugang
besteht, und es besteht ein Anspruch gegenüber dem Rechteinhaber darauf, das Mining zu ermöglichen
(§ 95b UrhG bzw. Artikel 7 Absatz 2 DSM-Richtlinie).
Nicht abschließend geklärt ist bei alledem allerdings, inwieweit die hier verwendete TDM-Definition
192
tatsächlich auch das Training eines neuronalen Netzes, beispielsweise mit Lichtbildern, abdeckt
193
.
Werkerstellung
Die Ergebnisse einer KI müssen dem äußeren Erscheinungsbild nach einem menschlichen Werk in nichts
nachstehen. Ein urheberrechtlicher Werkschutz nach deutschem und EU-Recht erfordert aber immer ein
menschliches Schaffen.
194
Das bedeutet, dass autonom erschaffene „Schöpfungen“, die einem menschlichen
Schöpfer nicht zugerechnet werden können, nicht urheberrechtlich schutzfähig sind.
195
Entscheidend ist also,
inwieweit KI eigenständig komponiert, malt oder schreibt und wie groß der menschliche Einfluss sein muss,
um dem Ergebnis einen urheberrechtlichen Werkschutz zuzugestehen. Werden alle wesentlichen
Gestaltungsentscheidungen allein durch technische Hilfsmittel, z. B. eine KI-Anwendung auf Grundlage von
Deep Learning oder einen Zufallsgenerator, geprägt, ist die Gestaltung einem urheberrechtlichen Schutz nicht
zugänglich.
196
Die konkrete Festlegung, ob und inwieweit ein menschlicher Einfluss eigenschöpferisch ist,
muss jeweils anhand des konkreten Einzelfalles erfolgen und kann komplex sein. So ist es beispielsweise
bereits umstritten, ob die reine Auswahl aus verschiedenen Ergebnissen eines vollständig autonomen und
unbeeinflussbaren Systems einen urheberrechtlich geschützten schöpferischen Prozess darstellt.
197
Ein dem Urheberrecht verwandtes Schutzrecht für KI-Leistungen wäre grundsätzlich denkbar, wenn es sich
dabei um einen Investitionsschutz handeln würde. Hierzu bedürfte es einer wirtschaftlichen Notwendigkeit
im Sinne des immaterialgüterrechtlichen Anreizgedankens.
Wettbewerbsrecht
Branchenübergreifend hat die Digitalisierung große Auswirkungen auf die Wettbewerbssituation in Märkten.
So werden die Funktionsweise der Datenökonomie, die Entstehung von Plattformmärkten und die
zunehmende Bedeutung marktübergreifender digitaler Ökosysteme zu den zentralen Veränderungsfaktoren
190
Vgl. Erwägungsgrund 17 der DSM-Richtlinie.
191
Vgl. Bundesministerium der Justiz und für Verbraucherschutz (2020): Entwurf eines Ersten Gesetzes zur Anpassung des
Urheberrechts an die Erfordernisse des digitalen Binnenmarkts.
192
Nach Artikel 2 Nummer 2 der DSM-Richtlinie bezeichnet Text- und Data-Mining eine Technik für die automatisierte Analyse
von Texten und Daten in digitaler Form, mit deren Hilfe Informationen unter anderem – aber nicht ausschließlich – über Muster,
Trends und Korrelationen gewonnen werden können.
193
Dafür Raue (2019): Rechtssicherheit für datengestützte Forschung und Deutsche Vereinigung für gewerblichen Rechtschutz und
Urheberrecht e. V. (2019): Stellungnahme des GRUR Fachausschusses für Urheber- und Verlagsrecht zur Umsetzung der EU-
RLn im Urheberrecht (DSM-RL (EU) 2019/790 und Online-SatCab-RL (EU) 2019/789), S. 2.
194
Vgl. § 7 UrhG: „Urheber ist der Schöpfer des Werkes.“; § 2 Absatz 2 UrhG: „persönlich geistige Schöpfung“; Urteil des
Europäischen Gerichtshofs vom 12. September 2019 (Az.: C-683/17): Werk ist „... eine eigene geistige Schöpfung seines
Urhebers“; es ist ein Original, wenn es „die Persönlichkeit seines Urhebers widerspiegelt“.
195
Vgl.
Lauber-Rönsberg
(2019):
Autonome
„Schöpfung“
Urheberschaft
und
Schutzfähigkeit,
S.
249.
196
Vgl.
Lauber-Rönsberg
(2019):
Autonome
„Schöpfung“
Urheberschaft
und
Schutzfähigkeit,
S.
247.
197
Dagegen:
Lauber-Rönsberg
(2019):
Autonome
„Schöpfung“
Urheberschaft
und
Schutzfähigkeit,
S.
247;
Darstellung Prof.
Dr. Jan Bernd Nordemann (Humboldt-Universität zu Berlin) in der Sitzung der Projektgruppe „KI und Medien“ am
2. März 2020; wohl dafür: Dreier und Schulze (2008): Urheberrechtsgesetz § 2, Rn. 8 mit weiteren Nachweisen.
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 70 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

der Wirtschaft im digitalen Zeitalter.
198
Das Wettbewerbsrecht reguliert dabei nicht den Einsatz bestimmter
Technologien, sondern ist vielmehr darauf gerichtet, den Wettbewerb zu erhalten und die Märkte für
Konkurrenz offenzuhalten. Eine Grundannahme des funktionsfähigen Wettbewerbs ist, die Vermachtung von
Wirtschaftsbereichen durch enge Oligopole zu verhindern.
Das Wettbewerbsrecht spielt deshalb für KI mittelbar eine bedeutende Rolle, weil je nach Ausgestaltung der
Zugang zu Daten ermöglicht, erleichtert, erschwert oder verhindert wird. Der Zugang zum Rohstoff Daten
für die Anwendung von KI beeinflusst mithin also die Wettbewerbssituation auf digitalen Märkten. Im Zuge
der letzten Novelle des Gesetzes gegen Wettbewerbsbeschränkungen (GWB)
199
wurden Anpassungen
vorgenommen, um die wahrgenommene Lücke zu schließen: Es wurde klargestellt, dass unentgeltliche
Leistungen einem Markt zugeordnet werden können (
§ 18 Absatz
2
a
GWB
), besondere
Marktstellungsmerkmale für die Beurteilung mehrseitiger Märkte, insbesondere Plattformmärkte (
§ 18
Absatz 3 a GWB), und ferner ergänzende Umsatzschwellen in der Fusionskontrolle wurden eingeführt.
200
Dennoch müssen weitere Anpassungen am Wettbewerbsrecht vorgenommen werden, damit es mit den neuen
Verhältnissen in der Digitalwirtschaft umgehen kann. Die Bundesregierung hatte dazu eine „Kommission
Wettbewerbsrecht 4.0“ eingesetzt, die Vorschläge für eine Weiterentwicklung des europäischen
Wettbewerbsrechts unterbreitet hat.
201
Auf dieser Basis wird derzeit eine 10. Novelle des Gesetzes gegen
Wettbewerbsbeschränkungen (GWB) erarbeitet, die das Wettbewerbsrecht noch effektiver machen und die
richtige Balance zwischen den Wachstumsmöglichkeiten deutscher und europäischer Plattformen einerseits
und der Verhinderung des Missbrauchs von Marktmacht andererseits finden soll.
202
Dazu gehört auch, künftig einen wettbewerbswidrigen Umgang mit Daten zu verhindern. Daten gewinnen
als Inputfaktor für Angebote immer mehr an Bedeutung. U. a. mithilfe von KI werden Daten zur
Effizienzsteigerung oder zur Personalisierung von Produkten oder Dienstleistungen eingesetzt. Dies birgt für
Verbraucherinnen und Verbraucher die Gefahr von sogenannten Lock-in-Effekten
203
, da ein personalisiertes
Angebot den Wechsel zu konkurrierenden Anbietern erschwert.
Insbesondere in Verbindung mit plattformbasierten Geschäftsmodellen treten sogenannte Netzwerkeffekte
auf, die möglichst viele Nutzerinnen und Nutzer dazu anhalten, eine bestimmte Plattform zu verwenden. Dies
begünstigt Tendenzen einer monopolartigen Marktentwicklung. Eine andere Form des Netzwerkeffekts sorgt
hingegen dafür, dass die durch Nutzung des Netzwerks gewonnenen Daten für die Entwicklung davon
unabhängiger Angebote eingesetzt werden können. Dies begünstigt die Expansion eines Unternehmens in
neue Märkte, da die durch Datenerhebung gewonnenen Erkenntnisse z. B. über Kundenwünsche oder
Kundengewohnheiten in anderen Branchen genutzt werden können. Insofern spricht man im Rahmen der
Plattformwirtschaft von unechten Netzwerken, da die Plattformen die Netzwerkstrukturen ermöglichen und
deren zentralen Knotenpunkt bilden, über den alle Interaktionen und alle Vernetzungen laufen.
204
Diese
Entwicklungen
führen
zu
starken
Monopolisierungstendenzen
und
zu
verzweigten
Unternehmensstrukturen. Der Datenreichtum dieser Unternehmen stärkt ihre Wettbewerbsposition und
macht es für datenarme Wettbewerber zunehmend schwierig bis unmöglich, diese wirtschaftliche
Machtposition anzugreifen, insbesondere weil kein Zugang zu den Daten des marktmächtigen Wettbewerbers
198
Vgl. Schallbruch et al. (2019): Ein neuer Wettbewerbsrahmen für die Digitalwirtschaft. Bericht der Kommission
Wettbewerbsrecht 4.0.
199
Das Gesetz gegen Wettbewerbsbeschränkungen (GWB) wurde in den letzten Jahrzehnten wiederholt an veränderte
marktwirtschaftliche Gegebenheiten angepasst. Am 28. September 2016 hat das Bundeskabinett den vom Bundesministerium für
Wirtschaft und Energie (BMWi) vorgelegten Entwurf für die 9. Novelle des Gesetzes gegen Wettbewerbsbeschränkungen
(GWB) verabschiedet, die im Juni 2017 in Kraft getreten ist. Die 10. GWB Novelle ist derzeit in Arbeit. Vgl. Bundesregierung
(2020): Gestaltung einer digitalen Ordnungspolitik.
200
Vgl. Beckmann und Müller (2014): Teil 10 Kartellrecht, Abschnitt A, Rn. 2.
201
Vgl. Schallbruch et al. (2019): Ein neuer Wettbewerbsrahmen für die Digitalwirtschaft. Bericht der Kommission
Wettbewerbsrecht 4.0.
202
Weitere Informationen zum aktuellen Stand unter:
https://www.bundesregierung.de/breg-de/themen/digital-made-in-
de/gestaltung-einer-digitalen-ordnungspolitik-1547010
(zuletzt
abgerufen am 5. August 2020).
203
Unter dem Lock-in-Effekt versteht man in der Betriebswirtschaft eine Art Abhängigkeitsverhältnis von einem Kunden zu einem
Anbieter. Der Lock-in-Effekt, auch Anbindeeffekt, beschreibt dabei die Tatsache, dass ein Wechsel des Kunden zu einem
anderen Anbieter aufgrund hoher Wechselkosten unwirtschaftlich ist. Der Kunde ist also an seinen jetzigen Anbieter
„gebunden“, da ein Wechsel nur dann sinnvoll ist, wenn der neu entstandene Nutzen durch den Wechsel größer als oder
zumindest gleich groß ist wie die Kosten des Wechsels.
204
Vgl. Spiecker genannt Döhmann (2019): Digitale Mobilität: Plattform Governance, S. 342.
Deutscher Bundestag – 19. Wahlperiode
– 71 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

besteht.
205
Somit haben datenreiche Unternehmen einen Vorteil, wenn es um den Einsatz von KI-
Technologien geht, da sie auf einen größeren Datenschatz zugreifen können.
Eine Strategie, um dieser Situation zu begegnen, kann die Zusammenarbeit von Unternehmen sein. Dabei
kann das Teilen von zuvor getrennten Datenpools der Unternehmen vereinbart werden. Diese
Unternehmenskooperationen scheitern jedoch oftmals an der Tatsache, dass Unternehmen damit
möglicherweise gegen das Wettbewerbsrecht verstoßen. Diese Rechtsunsicherheit verhindert das Teilen von
Datenbeständen.
206
Diese Entwicklungen haben zu einer globalen Debatte geführt, wie das Wettbewerbs- und Kartellrecht
auszugestalten ist, um den Monopolisierungstendenzen in der digitalen Wirtschaft entgegenzutreten. Das
BMWi
hat
bereits
einen
Referentenentwurf
für
die
Novellierung
des
Gesetzes
gegen
Wettbewerbsbeschränkungen (GWB) veröffentlicht, der derzeit beraten wird. Da das Wettbewerbsrecht
jedoch zu großen Teilen EU-rechtlich harmonisiert ist, hat der deutsche Gesetzgeber nur einen engen
Handlungsspielraum. Allerdings gibt es auch auf EU-Ebene Bestrebungen, das Wettbewerbsrecht zu ändern.
In der Diskussion befinden sich derzeit z. B. Verhaltensregeln für marktmächtige Plattformen. Auf
europäischer Ebene wurde Ende 2019 die sogenannte P2B-Verordnung beschlossen
207
, die den Umgang von
Plattformanbietern mit Händlern regelt; eine Änderung des Digital Services Act soll eingeleitet werden, in
dem weitere Verhaltensregeln für Plattformen festgeschrieben werden sollen. Der Entwurf der GWB-
Digitalisierungsnovelle richtet sich hingegen nicht ausschließlich an Plattformanbieter, sondern will
Verhaltensregeln für Unternehmen mit überragender marktübergreifender Bedeutung einführen.
Der Entwurf sieht vor, Vorgaben für marktmächtige Unternehmen bezüglich der Datenportabilität und
Interoperabilität zu machen, um die Lock-in-Effekte für Verbraucherinnen und Verbraucher abzumildern und
den Wettbewerb zu fördern. Ebenso ist ein zumindest teilweiser Zugang von Wettbewerbern zu Datenpools
von marktbeherrschenden Anbietern im Gespräch. Dies wird dadurch ermöglicht, dass Daten in Zukunft
unter die sogenannte Essential-Facilities-Doktrin
208
zählen können, wonach die Verhinderung des Zugangs
zu wesentlichen (Infrastruktur-)Einrichtungen (englisch „essential facility“, also hier Daten) eine
Untergruppe des Missbrauchs einer marktbeherrschenden Stellung durch Geschäftsverweigerung darstellt.
Bei der Schaffung eines Datenzugangs können jedoch Konflikte mit dem Datenschutzrecht sowie dem Schutz
von Unternehmensgeheimnissen auftreten, die mitunter zu langen Rechtsstreitigkeiten führen können. Diese
Konflikte
könnten
durch
das
Zwischenschalten
von
Ombudspersonen,
Clearingstellen
oder
Datentreuhändern entschärft werden.
209
Um Rechtsunsicherheiten bei Unternehmenskooperationen zu
vermeiden und somit Monopole durch Stärkung von Wettbewerbern zu verhindern, ist die Schaffung einer
vorherigen Bewertungsmöglichkeit auf Anfrage der beteiligten Unternehmen bei der zuständigen Behörde
im Gespräch.
Haftungsrecht
210
Das Haftungs- oder Schadenersatzrecht dient in erster Linie der Kompensation von erlittenen Nachteilen,
ohne die Schädigende oder den Schädigenden zu bestrafen.
Als nützliche Folge der Kompensation entfaltet aber auch das Schadenersatzrecht präventive Wirkung
211
,
indem es Anreize für ein risikoarmes Verhalten der verantwortlichen Akteure schafft. Schließlich
konkretisiert es den verfassungsrechtlichen Auftrag des Staates, Rechtsgüter seiner Bürgerinnen und Bürger
zu schützen, indem es Verantwortlichkeiten für den Integritätsschutz dieser Rechtsgüter festschreibt. Ein
205
Für die Folgen der Digitalisierung auf den Wettbewerb von Unternehmen vgl. Schallbruch et al. (2019): Ein neuer
Wettbewerbsrahmen für die Digitalwirtschaft. Bericht der Kommission Wettbewerbsrecht 4.0, S. 12 ff.
206
Dieser Umstand wird bereits durch den Entwurf der 10. GWB-Novelle aufgegriffen.
207
Die Verordnung zur Förderung von Fairness und Transparenz (EU) 2019/1150 vom 20. Juni 2019 trat am 31. Juli 2019 in Kraft
und ist seit dem 12. Juli 2020 anzuwenden.
208
Die Essential-Facilities-Doktrin ist eine aus dem US-amerikanischen Wettbewerbsrecht stammende Lehre, die den Missbrauch
einer marktbeherrschenden Stellung durch sogenannte Geschäftsverweigerung unterbinden will.
209
Handlungsempfehlungen von Prof. Dr. Rupprecht Podszun (Heinrich-Heine-Universität Düsseldorf), Projektgruppendrucksache
19(27)PG 6-25 vom 11. Februar 2020.
210
Zu diesem Kapitel liegt ein Sondervotum aus der Fraktion DIE LINKE. vor [Sondervotum zu Kapitel 5.5 des Mantelberichts
(„Haftungsrecht“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des sachverständigen Mitglieds Dr. Florian Butollo].
211
Vgl. Oetker (2019): § 249 Rn. 8.
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 72 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

gutes Haftungssystem ist stets auch wirtschaftlich sinnvoll, indem es Kosten für Schäden denjenigen
Akteuren auferlegt, welche die Schäden mit dem geringsten Aufwand vermeiden oder versichern können.
Die Verantwortlichkeit für den Einsatz von KI-Systemen und deren Folgen muss immer bei einer
(Rechts-)Person verbleiben und darf nicht an die Technik delegiert werden können.
Für die Herstellung und das Betreiben von KI-Systemen gibt es derzeit keine speziellen Haftungsregelungen.
KI bietet für die bestehenden Herausforderungen des Haftungssystems aus sich heraus auch keine sinnvollen
gesetzgeberischen Abgrenzungskriterien.
Das derzeitige Haftungsregime besteht aus einer Reihe von Gesetzen, die zu verschiedenen Zeitpunkten
unterschiedlichen Akteuren Pflichten und Risiken zuschreiben und diese im Schadenfall durch einen
Ersatzanspruch des oder der Geschädigten kompensieren. Präventiv, also schadensvorbeugend, wirken
allgemeine und sektorspezifische Schutzgesetze wie die Produktsicherheitsrichtlinie oder die
Medizinprodukteverordnung. Sie beschreiben, welche Voraussetzungen gegeben sein müssen, damit ein
entsprechendes Produkt als sicher gilt und in Verkehr gebracht werden darf. Das auf der europäischen
Produkthaftungsrichtlinie basierende Produkthaftungsgesetz knüpft am Produkt an und schreibt vor, dass der
Hersteller haftet, wenn das Produkt durch einen Fehler einen physischen Schaden verursacht. Die
Produzentenhaftung wiederum lässt den Hersteller haften, wenn er durch fehlerhaftes Verhalten nach
Inverkehrbringen seines Produkts einen Schaden verursacht hat. Hersteller können außerdem nachträglich
nach § 823 des Bürgerlichen Gesetzbuchs (BGB) auch für Vermögensschäden haften, wenn sie gegen die
präventiven Schutzgesetze verstoßen haben. Darüber hinaus kann der Hersteller aus vertragsrechtlichen
Ansprüchen für Schäden haften, die sein mangelhaftes Produkt verursacht hat. Im Grundsatz gelten all diese
Haftungsregelungen auch für KI-Systeme, jedoch mit der Einschränkung, dass noch nicht abschließend
geklärt ist, ob und inwieweit der „Produktbegriff“ auch Software betrifft, die nicht in einem körperlichen
Produkt integriert ist.
Zusätzlich zu den Pflichten und Schadensersatzansprüchen, die dem Hersteller auferlegt sind, gibt es die
Gefährdungshaftung, welche den Betreiber, Hersteller oder Halter einer Gefahrenquelle in die Pflicht nimmt,
für mögliche Schäden einzustehen. Sie setzt kein Verschulden voraus, sondern knüpft allein an die Tatsache
an, dass bspw. durch das Halten eines Haustiers oder den Betrieb eines Systems eine Gefahrenquelle
geschaffen wurde. Beispiele für die Gefährdungshaftung gibt es für den Straßen-, Bahn- und Luftverkehr, für
die Haltung von Haustieren sowie für den Betrieb von Anlagen (z. B. Elektrizität oder Atomanlagen).
Derzeit werden mit Blick auf KI-Systeme verschiedene Konzepte betrachtet, um eventuell auftretende
Haftungslücken zu schließen. Grundsätzlich werden mögliche Haftungslücken sowohl in der
Verschuldenshaftung als auch in der Gefährdungshaftung gesehen.
5.5.1
E-Person
Unter dem Stichwort Elektronische Person („E-Person“) soll autonom agierenden Systemen und damit auch
KI-Systemen eine Rechtspersönlichkeit und eigene Verantwortung zugeschrieben werden.
212
Die Enquete-
Kommission empfiehlt dem Deutschen Bundestag von dem Konzept der E-Person Abstand zu nehmen. Das
Konzept widerspricht der grundsätzlichen Überzeugung der Enquete-Kommission, KI-Technologien als ein
Werkzeug in der Verantwortung des Menschen anzusehen.
5.5.2
Zurechnung der Haftung im Rahmen der Verschuldenshaftung
Beim Einsatz eines schädigenden KI-Systems ist die Haftung der Einsetzenden an einen
Sorgfaltspflichtverstoß beim Einsatz oder bei der Überwachung des KI-Systems gebunden. Für ein
sorgfaltspflichtwidriges Handeln einer autonom agierenden KI entsteht eine Haftungslücke, insoweit die
Sorgfaltspflichtverletzung keinen menschlichen Anknüpfungspunkt findet. Ein Beispiel dafür wäre etwa ein
chirurgischer Roboter, der einen fehlerhaften Eingriff bei richtiger Funktionsweise durchführt, etwa einen zu
langen Operationsschnitt. Während das Verschulden eines menschlichen Akteurs in diesen Fällen
212
Vgl. Entschließung des Europäischen Parlaments vom 16. Februar 2017 mit Empfehlungen an die Kommission zu
zivilrechtlichen Regelungen im Bereich Robotik (2015/2103/INL), S. 28.
Deutscher Bundestag – 19. Wahlperiode
– 73 –
Drucksache
19/
23700
Vorabfassung
wird
durch
die
endgültige
Fassung
ersetzt.

demjenigen zugerechnet wird, der diesen Erfüllungsgehilfen
213
einsetzt, entsteht in einem autonomen System
keine Sorgfaltspflichtverletzung, die zugerechnet werden könnte.
Trotz der Schwierigkeiten, in manchen Einzelfällen für autonome Systeme eine angemessene Entsprechung
der Sorgfaltspflichtverletzung zu finden, hält es beispielsweise die Datenethikkommission für sinnvoll, eine
Zurechnung entsprechend der Regelungen der Erfüllungsgehilfenhaftung (§ 278 BGB) für autonome
Systeme vorzunehmen.
214
Über die Frage, ob eine solche Zurechnung vorgenommen werden soll, wird
derzeit rege in der Rechtswissenschaft diskutiert.
215
5.5.3
Mögliche Ausweitung der Gefährdungshaftung
In der Rechtswissenschaft
216
wird diskutiert, ob es weiterer Gefährdungshaftungstatbestände für den Einsatz
autonomer KI-Systeme in besonders gefährlichen Produkten bedarf. Aufgrund der zunehmenden Autonomie
moderner KI-Systeme stellt sich zunehmend die Frage, ob die Betreiber bzw. Halter oder unter Umständen
die Hersteller die für eine Verantwortungszuweisung mit relevante, dominierende Einflussmöglichkeit auf
die Systeme haben.
5.5.4
Mögliche Lücken in der Produkthaftung
Das Produkthaftungsrecht bietet einen speziellen Anspruch gegen den Hersteller eines Produkts, der
zwischen reiner Verschuldenshaftung und verschuldensunabhängiger Gefährdungshaftung steht. Der
Geschädigte hat bei einem materiellen Schaden einen Anspruch auf Schadenersatz gegen den Hersteller eines
Produktes, wenn er den Schaden, einen Fehler des Produkts und den ursächlichen Zusammenhang zwischen
dem fehlerhaften Produkt und dem Schaden nachweisen kann. Der Hersteller einer KI haftet danach nur
insoweit, als das System bereits beim Inverkehrbringen den Fehler hatte und er diesen nach Stand der
Wissenschaft und Technik hätte erkennen können.
Momentan wird in Brüssel die Überarbeitung der europäischen Produkthaftungsrichtlinie im Hinblick auf
neue Technologien geprüft. Ein Aspekt der Debatte ist die Überarbeitung des Produktbegriffes. Nach dem
Wortlaut des Produkthaftungsgesetzes ist als Produkt eine „bewegliche“, d. h. körperliche Sache anzusehen.
Ob Haftungsvorschriften für bewegliche Sachen auf KI-Systeme, die aus Computer-Algorithmen und damit
aus Software bestehen, angewendet werden können, ist in der Rechtswissenschaft umstritten. Die EU-
Kommission geht wohl davon aus, dass das Produkthaftungsrecht auch auf Software Anwendung findet.
217
Für die gerichtliche Auslegung der Vorschriften in den Mitgliedstaaten und durch den Europäischen
Gerichtshof (EuGH) ist das jedoch nicht verbindlich. Nach der Rechtsprechung unterliegt aber jedenfalls
derjenige der Produkthaftung, der Geräte oder Gerätekomponenten mit eigen- oder fremdprogrammierter
Software zur Steuerung oder Kontrolle des Geräts bzw. der Komponente in Verkehr bringt, beispielsweise
Fahr- und Sprachassistenzsysteme oder Roboter.
Ein Produkt muss zum Zeitpunkt seines Inverkehrbringens die Sicherheit bieten, die berechtigterweise zu
erwarten ist. Andernfalls weist es einen Fehler auf, der eine Produkthaftung begründen kann (vgl. § 3 des
Produkthaftungsgesetz – ProdHaftG). Wenn allerdings der Fehler nach dem Stand der Wissenschaft und
Technik zum Zeitpunkt des Inverkehrbringens nicht zu vermeiden war, scheidet die Haftung des Herstellers
aus (§ 1 Absatz 2 Nr. 5 ProdHaftG). Der Stand der Wissenschaft und Technik wird vor allem durch
technische Standards, z. B. DIN-, CEN- und ISO-Normen, indiziert. Auch für KI werden solche Standards
entwickelt, die sicherstellen sollen, dass Systeme bestimmte Qualitätsanforderungen erfüllen.
218
Dazu gehört
es z. B., eine Qualitätssicherung der Trainingsdaten durchzuführen, das erlernte Modell zu validieren und die
213
Als Erfüllungsgehilfe wird eine Person benannt, die mit Wissen und Wollen des Schuldners bei Erfüllung einer dem Schuldner
obliegenden Verbindlichkeit tätig wird und dabei von Weisungen des Schuldners abhängig ist.
214
Vgl. Datenethikkommission der Bundesregierung (2019): Gutachten der Datenethikkommission der Bundesregierung, S. 219 f.
215
Vgl. Hacker (2020): Europäische und nationale Regulierung von Künstlicher Intelligenz, S. 2142 ff. mit weiteren Nachweisen.
216
Vgl. u. a. Wendehorst (2016): Die Digitalisierung und das BGB; Pieper und Gehrmann (2019): Künstliche Intelligenz – Wer
haftet?.
217
Die Kommission führt in dem bereitgestellten „inception impact assessment“ zwar aus, dass noch keine finale Entscheidung
gefallen ist, skizziert jedoch, neben der Beibehaltung des Status quo, bereits vier denkbare Szenarien für die Überarbeitung der
Richtlinie 2001/95/EG.
218
Siehe z. B. verschiedene DIN SPECs unter
https://www.din.de/de/forschung-und-innovation/themen/kuenstliche-
intelligenz/standards-fuer-ki; ISO Standardisierungsprojekte unter
https://www.iso.org/committee/6794475.html
(zuletzt
abgerufen am 9. Oktober 2020).
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 74 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Lernergebnisse zu kontrollieren und zu testen.
219
Für einzelne Produktkategorien sind sehr viel speziellere
technische Vorgaben sogar gesetzlich vorgeschrieben (z. B. für Medizinprodukte).
Ein weiterer Diskussionspunkt ist die Frage, ob es notwendig ist, die Produkthaftung auf Produktfehler
auszuweiten, die erst nach dem Inverkehrbringen infolge sich selbst verändernder Software, erfolgter oder
pflichtwidrig unterlassener Updates oder produktspezifischer Daten auftreten, wofür sich z. B. auch die
Datenethikkommission ausgesprochen hat.
220
Letztere dürfte in bestimmten Fällen jedoch schon im Rahmen
der Produzentenhaftung gegeben sein, wonach Hersteller nach § 823 Absatz 1 BGB je nach Risiko im
Einzelfall auch Pflichten zur Pflege oder zum Update eines KI-Systems treffen können. Was nachträglich im
Lernvorgang entstehende Fehler angeht, die bei Inverkehrbringen des Produkts noch nicht bestanden, wäre
allerdings auch denkbar, hierfür im Rahmen bestehender Gefährdungshaftungsregelungen Lösungen zu
finden.
Auch die Frage der Beweislast für den Nachweis eines Fehlers von Seiten des Geschädigten wird derzeit
diskutiert. So spricht die Studie, welche die EU-Kommission zur Evaluierung der Produkthaftungsrichtlinie
in Auftrag gegeben hat, davon, dass 53 Prozent der abgewiesenen Fälle wegen des Fehlens des Nachweises
eines Fehlers zurückgewiesen werden.
221
Bei komplexen Systemen, an deren Herstellung und Betrieb
mehrere Akteure beteiligt sind, können Verursachungsbeiträge für einen konkreten Schaden generell
schwierig zu ermitteln und nachzuweisen sein. Die Rechtsprechung hat Geschädigten daher bereits gewisse
Beweiserleichterungen wie Anscheinsbeweis und Fehlervermutung eingeräumt. Allerdings besteht keine
Einigkeit darüber, ob diese Erleichterungen ausreichend sind. Es kann einerseits sehr schwierig werden, diese
für lernende Algorithmen zu analysieren und zu evaluieren. Andererseits könnten aber auch neue
Möglichkeiten entstehen, das Verhalten von autonomen Systemen zu überwachen.
222
Weitere Ausführungen zur Problematik der Haftung bei KI-Systemen finden sich in den
Projektgruppenberichten.
223
5.5.5
Handlungsempfehlungen
1.
Das bestehende Haftungssystem ist nach Auffassung der Enquete-Kommission grundsätzlich geeignet,
auch durch KI-Systeme verursachte Schäden auszugleichen. Eine dringende Notwendigkeit, neue
Haftungstatbestände speziell für KI-Systeme zu schaffen, wird derzeit nicht gesehen. Bei der
Normierung von KI-Systemen sollte jedoch in besonderem Maße darauf geachtet werden, dass
Vorgänge in KI-Systemen nachvollziehbar und damit dem Beweis zugänglich sind.
2.
Bestehende Rechtsunsicherheiten bzgl. der Anwendbarkeit bestehender Haftungstatbestände auf KI-
Systeme können und sollten im Rahmen der Überprüfung der Produkthaftungsrichtlinie auch mit Blick
auf andere technologische Neuerungen beseitigt werden. Es wird daher angeregt zu prüfen, inwieweit
das geltende Haftungssystem einer punktuellen Überarbeitung im Hinblick auf neue Technologien
bedarf.
3.
Die Einführung neuer Haftungstatbestände der Gefährdungshaftung sollte nur dort erwogen werden, wo
explizit durch KI-Systeme neue Gefahren für besonders wichtige Rechtsgüter geschaffen werden, die
nicht bereits durch bestehende Haftungsvorschriften adressiert werden. Es bietet sich im Hinblick auf
den europäischen Wettbewerb an, derartige Regelungen – so sie in Zukunft für erforderlich gehalten
werden – auf europäischer Ebene zu suchen.
219
Vgl. dazu auch Russell und Norvig (2016): Artificial intelligence, Kapitel 19.
220
Vgl. Datenethikkommission der Bundesregierung (2019): Gutachten der Datenethikkommission der Bundesregierung, S. 222.
221
Vgl. Europäische Kommission (2018): Bewertung der Richtlinie 85/374 / EWG des Rates vom 25. Juli 1985 über die
Annäherung an die Gesetze, Verordnungen und Verwaltungsbestimmungen der Mitgliedstaaten betreffend Haftung für
fehlerhafte Produkte, S. 25.
222
Vgl. Wagner (2019): Robot Liability, S. 46.
223
Siehe auch den Bericht der Projektgruppe „KI und Wirtschaft“ in Kapitel C. II. [Künstliche Intelligenz und Wirtschaft
(Projektgruppe 1)], den Bericht der Projektgruppe „KI und Gesundheit“ in C. IV. [Künstliche Intelligenz und Gesundheit
(Projektgruppe 3)] und den Bericht der Projektgruppe „KI und Mobilität“ in C. VI. [Künstliche Intelligenz und Mobilität
(Projektgruppe 5)].
Deutscher Bundestag – 19. Wahlperiode
– 75 –
Drucksache
19/
23700
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Einsatz von KI in der öffentlichen Verwaltung
224
Da sich die Enquete-Kommission an verschiedenen Stellen mit dem Einsatz von KI in der öffentlichen
Verwaltung auseinandergesetzt hat, insbesondere in der Projektgruppe „KI und Staat“, sollen hier die
rechtlichen Grundlagen dargelegt werden.
Die Verwaltung ist an Recht und Gesetz gebunden. Das Grundgesetz und die jeweils anwendbaren
datenschutzrechtlichen
Regelungen,
wie
etwa
die
Datenschutzgesetze
der
Länder,
das
Bundesdatenschutzgesetz (BDSG) und sehr eingeschränkt auch die DSGVO selbst, gelten für die Verwaltung
deshalb ohnehin. Daneben existieren im Verwaltungsrecht drei Vorschriften, die den Einsatzbereich von
vollständig automatischer Entscheidungsfindung definieren: § 155 der Abgabenordnung (AO), § 31a des
Zehnten Buches Sozialgesetzbuch (SGB X) sowie § 35a des Verwaltungsverfahrensgesetzes (VwVfG).
§ 35a VwVfG stellt eine allgemeine Bestimmung dar, die grundsätzlich von allen Teilen der öffentlichen
Verwaltung zu beachten ist. Doch auch diese Norm regelt nur einen kleinen Teil der denkbaren
Anwendungsfälle von KI in der öffentlichen Verwaltung.
Einschlägig ist die Norm nur dann, wenn ein Verwaltungsakt (VA) vollständig durch automatische
Einrichtungen erlassen wird, also dann, wenn das Handeln der öffentlichen Verwaltung auf die Setzung einer
konkret-individuellen oder konkret-generellen Rechtsfolge gegenüber Personen außerhalb des Rechtskreises
der Verwaltung gerichtet ist. Beispiele sind Gebührenbescheide, Baugenehmigungen oder Verkehrszeichen.
Dies bedeutet zunächst, dass das schlichte Verwaltungshandeln nicht von der Vorschrift erfasst wird.
Darunter versteht man das Handeln einer Behörde, das nicht auf die Setzung einer Rechtsfolge gerichtet ist.
Schlichtes Verwaltungshandeln durch KI könnte beispielsweise in der Erteilung von Auskünften oder
Anleitungen zum Ausfüllen eines Formulars, etwa durch einen Chatbot, bestehen.
Des Weiteren gilt § 35a VwVfG nur für die Fälle, in denen der VA vollständig durch automatische
Einrichtungen, also ohne jegliches Zutun eines Menschen, erlassen wird. Spielt eine KI beim Erlass eines
VA also lediglich eine unterstützende oder vorschlagende Rolle, greift die Vorschrift nicht.
Folgen für vollständig automatisiert erlassene gebundene Verwaltungsakte
Wird ein VA vollständig durch automatische Einrichtungen erlassen, so verlangt § 35a VwVfG, dass dafür
eine gesonderte Rechtsgrundlage gegeben sein muss und diese Rechtsgrundlage der Behörde weder
Ermessen noch einen Beurteilungsspielraum einräumt. Ein Beurteilungsspielraum bedeutet, dass einer
Behörde eine Entscheidungsfreiheit im Hinblick auf das Vorliegen einzelner Tatbestandsmerkmale zusteht.
Bei diesen Tatbestandsmerkmalen handelt es sich um unbestimmte Rechtsbegriffe, wie z. B. „Gemeinwohl“
oder „öffentliches Interesse“. Anders als bei „gewöhnlichen“ Tatbestandsmerkmalen können Gerichte deren
Beurteilung durch die Verwaltung nur eingeschränkt (d. h. auf offensichtlichen Missbrauch des
Beurteilungsspielraums) überprüfen. Steht eine Entscheidung im Ermessen der Behörde, so ist sie, wenn die
Tatbestandsvoraussetzungen vorliegen, nicht gezwungen, eine bestimmte Rechtsfolge zu setzen. Vielmehr
kann sie entscheiden, ob und ggf. welche Rechtsfolge im konkreten Fall eintreten soll. Auch die Ausübung
des Ermessens kann gerichtlich überprüft werden, etwa auf die Berücksichtigung sachfremder Erwägungen
oder die Auswahl einer unzulässigen Rechtsfolge.
Für den Einsatz von KI in der Verwaltung spielen die genannten Differenzierungen vor allem im Hinblick
auf die verfassungsrechtliche Rechtsweggarantie eine Rolle. Nach diesem Grundsatz (vgl. Artikel 19 Absatz
4 GG) muss bei allen staatlichen Maßnahmen die Möglichkeit einer gerichtlichen Überprüfung bestehen.
Damit Gerichte die Ausfüllung eines Beurteilungsspielraums oder die Ausübung eines Ermessens überprüfen
können, müssen sie die tragenden Erwägungen für die jeweilige Entscheidung kennen. In diesen Fällen
können daher nur solche KI-Systeme zum Einsatz kommen, die einen Einblick in die für die jeweilige
Entscheidung tragenden Erwägungen erlauben. Gerade diese Anforderung erfüllen neuronale Netze und
lernende KI-Systeme im Gegensatz zu den klassischen (statischen) Expertensystemen (bislang) aber nicht.
Solange die Entscheidungsfindung eines KI-Systems für Außenstehende eine „Black Box“ bleibt, scheidet
es also für einen Einsatz in Fällen mit Beurteilungsspielräumen und Ermessensentscheidungen derzeit noch
aus.
224
Zu diesem Kapitel liegt ein Sondervotum aus der Fraktion DIE LINKE. vor [Sondervotum zu Kapitel 5.6 des Mantelberichts
(„Einsatz von KI in der öffentlichen Verwaltung“) der Abgeordneten Dr. Petra Sitte und Jessica Tatti sowie des
sachverständigen Mitglieds Dr. Florian Butollo].
Drucksache
19/
23700
Deutscher Bundestag – 19. Wahlperiode
– 76 –
Vorabfassung – wird durch die endgültige Fassung ersetzt.

Möglich ist ein vollständig automatisierter VA-Erlass nach geltender Rechtslage demnach nur bei gesetzlich
explizit vorgesehenen
225
gebundenen Entscheidungen, also in denjenigen Fällen, in denen das Gesetz, wenn
bestimmte Tatbestandsvoraussetzungen vorliegen, das Setzen einer fest vorgegebenen Rechtsfolge
vorschreibt (typischerweise zu erkennen an der Verwendung von Wendungen wie „muss“, „ist zu“, „hat …
zu“).
Folgen für Verwaltungsakte, die mit KI-Unterstützung erlassen werden
Wird KI beim Erlass eines VA lediglich unterstützend eingesetzt, also beispielsweise als Entscheidungshilfe
für einen menschlichen Sachbearbeiter, so ist dieser Fall bislang gesetzlich nicht geregelt. Ob es in diesen
Fällen einer gesetzlichen Ermächtigungsgrundlage für den KI-Einsatz bedarf, hängt nach dem aus Artikel 20