Entwurf einer Verordnung zur Regulierung künstlicher Intelligenz – eine Übersicht zum Regelungsvorhaben

Durch die Verordnung soll neben der Harmonisierung des europäischen Binnenmarkts (vgl. Erwägungsgrund 1), vor allem Rechtssicherheit für die Entwicklung und Vermarktung von KI-Systemen geschaffen werden, um der EU und den in ihr ansässigen Unternehmen einen Wettbewerbsvorteil in der sich rasant fortschreitenden Entwicklung von KI-Systemen zu verschaffen (vgl. Erwägungsgrund 3).

Gleichzeitig ist das zentrale Regelungsanliegen der Schutz der Grundrechte natürlicher und juristischer Personen, indem die mit bestimmter KI verbundenen Risiken durch regulatorische Vorgaben minimiert bzw. gänzlich ausgeschlossen werden sollen. Insgesamt verfolgt der KI-VO-E demnach einen risikobasierten Ansatz, wonach anhand der potenziellen Gefahren bestimmter KI-Systeme unterschiedlich strenge Anforderungen an die Produktsicherheit, Dokumentation und Überwachung gestellt werden oder KI-Systeme bestimmter Art sogar gänzlich verboten sind.

Der KI-VO-E unterscheidet aufgrund seines risikobasierten Ansatzes zwischen verschiedenen Arten von KI in Abhängigkeit von den jeweiligen (potenziellen) Gefahren eines KI-Systems für die Grundrechte der Betroffenen.

Insofern differenziert der KI-VO-E zwischen drei Arten von KI: (1) verbotene KI, (2) Hochrisiko-KI und (3) KI mit geringem Risiko. Nicht reguliert von dem Verordnungsentwurf werden (4) KI-Systeme ohne Risiko.

1. Verbotene KI:

Die verbotenen KI-Anwendungen sind in Art. 5 KI-VO-E enumerativ aufgeführt. Diese Praktiken bürgen allesamt eine nicht hinnehmbare Gefahr für die Grundrechte und sind deshalb unabhängig von etwaigen Sicherheitsmaßnahmen ausnahmslos verboten.

Dazu zählt die Verwendung von KI zur unterschwelligen Verhaltensmanipulation einer natürlichen Person oder die Ausnutzung des Alters von Personen bzw. ihrer geistigen oder körperlichen Behinderung. Darunter fallen würden z. B. die selbstständige Bestellung gewisser Produkte durch Smart-Home-Geräte oder insbesondere bei Kindern die Verhaltensbeeinflussung durch Spielzeuge mit Sprachassistent.

Als weiteres verboten ist sog. social scoring, d. h. die Bewertung der Vertrauenswürdigkeit natürlicher Personen anhand ihres Verhaltens. Dies umfasst die behördliche Bewertung des Verhaltens natürlicher Personen, wie sie insbesondere in China praktiziert wird, um indirekt auf das Verhalten Einzelner einwirken zu können, indem z. B. der Zugang zu gewissen Berufen oder dem öffentlichen Dienst verweigert werden kann. Der Anwendungsbereich ist jedoch nur auf behördliche Tätigkeiten beschränkt, was die Gefahr birgt, dass solche Praktiken durch Private eingesetzt werden könnten, indem z. B. die Gewährung eines Darlehens von einem gewissen Vorverhalten abhängig gemacht wird. Hierbei ergäben sich auch Gefahren der Diskriminierung, die, sofern der Anwendungsbereich in den weiteren Beratungen nicht ausgeweitet wird, über das AGG gelöst werden müssten.

Letztlich verboten ist die biometrische Echtzeit-Fernidentifizierung im öffentlichen Raum zur Strafverfolgung. Darunter fällt die Live-Videoüberwachung mit automatischer Gesichtserkennung. In sehr engen Ausnahmefällen ist dieses Verfahren zum Schutz überragend wichtiger Rechtsgüter zulässig, sofern es zum Auffinden von Verbrechensopfern, Verhindern von Terroranschlägen oder zur Verfolgung von schweren Straftaten erforderlich ist.

2. Hochrisiko-KI:

Eine Hochrisiko-KI wird in Art. 6 I,II KI-VO-E unter Verweis auf Anhang II und III normiert. Darunter fallen nach Erwägungsgrund 27 „ nur solche KI-Systeme […], die erhebliche schädliche Auswirkungen auf die Gesundheit, die Sicherheit und die Grundrechte von Personen in der Union haben [können]“.

Nach Art. 6 I lit a) KI-VO-E liegt ein Hochrisiko-KI-System vor, wenn es als Sicherheitskomponente eines in Anhang II aufgeführten Produkts dient oder selbst ein solches ist. In Anhang II sind in erster Linie Harmonisierungsvorschriften aufgeführt, die Vorgaben an besonders sicherheitsrelevante Produkte aufstellen. Darunter fallen insbesondere Maschinen, medizinische Geräte und Spielzeug.

Liegt eine Hochrisiko-KI vor, muss diese bestimmte Anforderungen zur Risikominimierung erfüllen. Insbesondere muss ein Risikomanagementsystem eingerichtet werden, um die vom konkreten Hochrisiko-KI-System ausgehenden Risiken zu analysieren, zu bewerten und ggf. Maßnahmen zu ergreifen. Die Maßnahmen müssen so ausgestaltet sein, dass die verbleibenden Restrisiken ein vertretbares Maß einhalten.

Des Weiteren unterliegt der Verantwortliche sowohl vor dem Inverkehrbringen des Hochrisiko-KI-Systems als auch danach spezifischen Dokumentations- bzw. Aufzeichnungspflichten, die die Transparenz und Rückverfolgbarkeit von Hochrisiko-KI-Systemen gewährleisten soll.

Außerdem müssen Hochrisiko-KI-Systeme entsprechend entwickelt werden, sodass während der gesamten Nutzungsdauer eine wirksame Beaufsichtigung durch eine natürliche Person erfolgen kann. Der Mensch soll aufgrund der potenziellen Gefahren solcher Systeme als Überwachungsinstanz dienen. Er soll als ultima ratio in den Systemablauf eingreifen können, wie das Beispiel der ausdrücklich erwähnten „Stopptaste“ (Art. 14 IV lit. e KI-VO-E) belegt.

Ein Hochrisiko-KI-System muss zudem hinreichend genau, robust und cybersicher ausgestaltet sein. Es muss widerstandfähig gegenüber Fehlern und Störungen sein, insbesondere auch gegenüber Cyberangriffen durch Dritte, denn hierdurch könnten sich weitere vom Hochrisiko-KI-System losgelöste, unkalkulierbare Gefahren ergeben.

Zuletzt stellt der KI-VO-E nicht nur Anforderungen an das Hochrisiko-KI-System selbst, sondern auch an die Anbieter und Nutzer eines solchen. Die Anbieter von Hochrisiko-KI-Systemen stellen sicher, dass die an diese gestellten Anforderungen erfüllt werden. Darüber hinaus unterliegen sie weiteren enumerativ aufgeführten Pflichten. Hierzu gehört ein Qualitätsmanagementsystem, das als Compliance-System die Einhaltung der rechtlichen Anforderungen aus der KI-VO gewährleisten soll. Die Anbieter sind auch verpflichtet, vor dem Inverkehrbringen ein Konformitätsbewertungsverfahren durchzuführen, indem sie den Nachweis für die Einhaltung aller Anforderungen an das Hochrisiko-KI-System erbringen müssen und eine EU-Konformitätserklärung ausstellen, die sie zehn Jahre für die zuständigen nationalen Behörden bereit halten. Abschließend bringt der Anbieter eine CE-Kennzeichnung an dem Hochrisiko-KI-System an.

Die Nutzer unterliegen grundsätzlich nur der Pflicht, das Hochrisiko-KI-System gemäß der Gebrauchsanweisung zu nutzen. Bringt ein Nutzer das Hochrisiko-KI-System jedoch unter seinem Namen bzw. unter seiner Marke in den Verkehr oder verändert er die Zweckbestimmung des Systems bzw. verändert er das System an sich wesentlich, so gelten für den Nutzer dieselben rechtlichen Pflichten wie für den Anbieter.

​​​​​​​3. KI mit geringem Risiko:

An KI-Systeme mit nur geringem Risiko, d. h. solchen die nicht unter Art. 6 I,II i.V.m. Anhang II,III KI-VO-E fallen, stellt der Verordnungsentwurf keine speziellen Anforderungen auf. Hierdurch wird erneut der risikobasierte Ansatz verdeutlicht. Für solche KI-Systeme besteht kein besonderer Regelungsbedarf. Dies bedeutet aber nicht, dass solche Systeme nicht sicher sein müssen. Vielmehr gelten hierbei andere Regelungen (vgl. Erwägungsgrund 82).

Es besteht dennoch die Möglichkeit für die Anbieter und Nutzer sich gem. Art. 69 I KI-VO-E freiwillig einen Verhaltenskodex aufzuerlegen, der den Anforderungen entspricht, die Hochrisiko-KI-Systeme erfüllen müssen. Dieser kann auch Verpflichtungen hinsichtlich der ökologischen Nachhaltigkeit, des Zugangs für Personen mit Behinderungen, der Beteiligung von Interessenträgern an der Entwicklung von KI-Systemen sowie der Diversität des Entwicklungsteams enthalten (Begründung 5.2.7. des VO-E). Die freiwillige Unterwerfung unter einen strengen Verhaltenskodex wollen die Kommission und die Mitgliedstaaten fördern, um die Vertrauenswürdigkeit von KI in der EU zu stärken (vgl. Erwägungsgrund 81).

Je nach Einsatzart müssen KI-Systeme mit geringem Risiko aber ggf. die Transparenzpflichten gem. Art. 52 KI-VO-E erfüllen. ​​​​​​​

4. KI-Systeme ohne Risiko:

Dem KI-VO-E nicht unterworfen sind KI-Systeme ohne Risiko für die europäischen Grundrechte von natürlichen und juristischen Personen. Dies entspricht dem gewählten risikobasierten Ansatz. Hierunter könnten beispielsweise Lernplattformen fallen, die mithilfe von KI den genauen Wissensstand des Nutzers analysieren und dadurch angepasste Lerninhalte bereitstellen können.

Wie bei den KI-Systemen mit geringem Risiko können sich aber auch in diesem Fall die Anbieter und Nutzer der risikolosen Systeme gem. Art. 69 I KI-VO-E freiwillig dem strengen Verhaltenskodex für Hochrisiko-KI-Systeme unterwerfen.

Für einen Überblick über den KI-VO-E sind folgende Artikel wichtig:

1. Art. 2 KI-VO-E:

Art. 2 KI-VO-E regelt den Anwendungsbereich der Verordnung.

Entscheidend für die Anwendbarkeit ist, dass

1. der Anbieter das KI-System in der Union in den Verkehr bringt oder in Betrieb nimmt, unabhängig vom Ort der Niederlassung,
2. oder der Nutzer sich in der Union befindet
3. oder der Anbieter und Nutzer aus einem Drittland die vom System hervorgebrachten Ergebnisse in der Union verwendet.

Damit ist der räumliche Anwendungsbereich bewusst weit ausgestaltet. Durch Art. 2 I lit. a KI-VO-E wird, in Anlehnung an die DSGVO, neben dem Niederlassungsprinzip auch das sog. Marktortprinzip eingeführt, um zu verhindern, dass die Anforderungen der KI-VO durch Unternehmen aus Drittstaaten unterlaufen werden.

2. Art. 3 KI-VO-E:

Art. 3 KI-VO-E enthält die Begriffsbestimmungen der KI-VO. Durch die einheitliche Bestimmung der zentralen Begrifflichkeiten soll die vollharmonisierende Wirkung der Verordnung auch praktisch umsetzbar gemacht werden.

Im Mittelpunkt steht hierbei Art. 3 Nr. 1 KI-VO-E, der KI definiert als: „eine Software, die mit einer oder mehreren der in Anhang I aufgeführten Techniken und Konzepte entwickelt worden ist und im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das Umfeld beeinflussen, mit dem sie interagieren“.

Bei einer derart weiten Definition von KI stellt sich die Frage, ob der Regelungszweck der Verordnung, Rechtsvereinheitlichung und vor allem Rechtssicherheit zu schaffen, erreicht werden kann. Es fehlt gänzlich die autonome Komponente, wie sie z. B. für sog. machine learning maßgeblich ist. Unter die Definition in der aktuellen Entwurfsfassung würde, bis auf ganz simple Programme, auch jede Software fallen, was aber nicht das Regelungsanliegen der KI-VO ist bzw. sein sollte.

Infolgedessen bleibt abzuwarten, ob bzw. welche Nachschärfungen im Zuge der Beratungen im Europäischen Parlament und Rat, insbesondere an der KI-Definition, noch vorgenommen werden. Die Stellungnahme des Rechtsausschusses des Europäischen Parlaments zum Entwurf der KI-VO (JURI draft report) gibt hierbei einen guten Ausblick, inwiefern Konkretisierungen des KI-Begriffs, insbesondere hinsichtlich des machine learning, erfolgen könnten.

​​​​​​​3. Art. 8 ff. KI-VO-E:

Die Art. 8 ff. KI-VO-E bestimmen die speziellen Anforderungen an Hochrisiko-KI-Systeme und sind somit inhaltlich die wesentlichen Regelungen der Verordnung.

Im Mittelpunkt steht hierbei das Riskomanagementsystem gem. Art. 9 KI-VO-E, das durch weitere Vorschriften, wie die Dokumentations- und Aufsichtspflichten in Art. 11, 12 KI-VO-E, menschliche Aufsicht gem. Art. 14 KI-VO-E und Cybersicherheit gem. Art. 15 KI-VO-E ergänzt wird.

Durch eine kontinuierliche Beobachtung und Analyse vor und nach Inverkehrbringen des Hochrisiko-KI-Systems sollen dadurch die Risiken bis auf ein vertretbares Maß minimiert werden, um gleichzeitig den Nutzen des Systems für die Gesellschaft zu erhalten und bei ggf. auftretenden Gefahren unverzüglich reagieren zu können.

Der Verordnungsentwurf erhält in Art. 71 die Delegation an die Mitgliedsstaaten Vorschriften für Sanktionen bei Verstößen gegen die Anforderungen an die Produktsicherheit bzw. Konformität oder bei Einsatz verbotener KI zu erlassen. Dabei können die Geldstrafen bis zu EUR 30 Mio. betragen oder bei Unternehmen bis zu 6 % des gesamten weltweiten Jahresumsatzes und ähneln folglich Geldstrafen im Kartellrecht.

Somit sieht der KI-VO-E eine Haftung nur im vertikalen Verhältnis vor. Die horizontale Haftung, dh. die zivilrechtliche Produkt-/ oder Produzentenhaftung, die in der digitale Welt, insbesondere im Anwendungsbereich von KI eine Anpassung erhalten sollte, bleibt durch den KI-VO-E unangetastet. Stattdessen arbeitet die Kommission aktuell an einem separaten Rechtsakt zur Anpassung der Haftungsregeln an das digitale Zeitalter und an die Entwicklungen im Bereich der künstlichen Intelligenz. Dazu hat bereits eine öffentliche Konsultation stattgefunden und ein Entwurf der Kommission wird für das dritte Quartal 2022 erwartet.

Der am 21. April 2021 durch die Kommission vorgestellte Entwurf einer KI-Verordnung stellt als weltweit erster seiner Art einen Vorschlag dar, wie KI zukünftig reguliert werden könnte, um die vielfältigen Nutzen mit den potenziellen Gefahren für die Grundrechte in ein austariertes Verhältnis zu bringen. Der vollharmonisierende und risikobasierte Ansatz geht in die richtige Richtung, indem er zum einen Rechtssicherheit schaffen will und zum anderen durch strenge Regulierung in sensiblen Bereichen oder sogar durch Verbote versucht, Vertrauen in KI und deren Nutzen zu schaffen.

Wie am Beispiel des KI-Begriffs aufgezeigt, bedarf der Entwurf in den finalen Beratungen, aber noch einiger Konkretisierung. Er sollte sich ausschließlich auf machine learning-Systeme beschränken, da für die, durch die weite Formulierung in Art. 3 Nr. 1 KI-VO-E, umfassten Softwareanwendungen bereits Regelungssysteme existieren bzw. Neue etabliert werden, wie z. B. der spätestens ab dem 1. Januar 2014 in Kraft tretende Digital Services Act.

Offene Fragen bleiben auch zum Verhältnis der DSGVO, insbesondere zu deren Grundprinzipen wie der Datenminimierung gem. Art 5 I lit. c) DSGVO. Der Verordnungsentwurf enthält lediglich in Art. 10 V eine spezielle Reglung für eine bestimmte Art von Datenverarbeitungen durch Hochrisiko-KI-Systeme. In der Begründung 1.2. zum Verordnungsentwurf wird zwar erläutert, dass die DSGVO durch den KI-VO-E unberührt bleibt und lediglich spezifisch ergänzt wird. Dennoch sollte für eine rechtssichere und datenschutzkonforme Anwendung in der Praxis eine präzisere Regelung getroffenen werden, um die Innovationspotenziale nicht durch die Angst vor Datenschutzverstößen zu ersticken. Ein Vorschlag hierbei ist die Datenerhebung zu Trainingszwecken als legitimes Interesse bzw. vereinbarer Zweck gem. Art. 6 I lit. f) bzw. IV DSGVO anzusehen.

Zudem wird in der aktuellen Situation aufgeworfen, eine Expertengruppe für KI einzurichten, um die Sicherheit, Vertrauenswürdigkeit und Ethik von KI zu gewährleisten. Diese soll ethische Richtlinien formulieren und dementsprechend eine Zulassungsliste für vertrauenswürdige KI aufstellen. Folglich soll der Aspekt der Vertrauenswürdigkeit mehr in den Fokus treten und nicht nur auf das Risiko allein abgestellt werden.

Des Weiteren schlägt der JURI draft report vor, wie bereits im früheren Weißbuch für KI, keine pauschale Risikobewertung vorzunehmen, sondern zusätzlich zu dem Einsatz in sensiblen Bereichen darauf abzustellen, ob erheblicher Schaden für die Grundrechte auch tatsächlich wahrscheinlich ist. Auf diese Weise würden nicht ganze Branchen unter eine Art Generalverdacht gestellt. Die teilweise zu pauschale Einordnung der KI-Systeme als hochriskant wird im Bereich der Medizintechnik auch vom BVMed (Bundesverband Medizintechnik e. V.) kritisiert, da ansonsten Innovationshindernisse drohen. Daher sollte in den weiteren Beratungen über die KI-VO bei der Qualifikation als Hochrisiko-KI die Gefahrenbewertung mehr kontextabhängig ausgestaltet werden.

Es zeigt sich somit, dass der KI-VO-E mit dem risikobasierten Ansatz in die richtige Richtung steuert, für die rechtsichere Umsetzung in der Praxis aber noch erheblicher Anpassungsbedarf besteht, um die verfolgten Regelungsziele zu erreichen und mit der KI-Verordnung für den Europäischen Binnenmarkt einen Wettbewerbsvorteil zu schaffen.

Nach Angaben des Europäischen Parlaments soll die KI-VO Ende September 2022 verabschiedet werden. Die weiteren Entwicklungen und die Umsetzung des aufgezeigten Verbesserungspotenzials bleiben abzuwarten.