Die KI-Verordnung ist (endlich) da – Auswirkungen, Anpassungsbedarf und Chancen

Der Rat der 27 EU-Mitgliedstaaten hat am 21. Mai 2024 die KI-Verordnung (KI-VO) als einen einheitlichen Rahmen für den Einsatz von KI in der EU verabschiedet. Am 12. Juli 2024 wurde die KI-VO im EU-Amtsblatt veröffentlicht. Gemäß Art. 113 KI-VO tritt diese am zwanzigsten Tag nach seiner Veröffentlichung im Amtsblatt der Europäischen Union in Kraft, also am 1. August 2024. Dabei erstrecken sich die Compliance-Umsetzungsfristen auf die kommenden nächsten 3 Jahre. Der deutschsprachige KI-VO-Text ist abrufbar unter: Verordnung - EU - 2024/1689 - EN - EUR-Lex (europa.eu).

Der jetzige Verordnungstext verdeutlicht den Anspruch der EU, bei der Entwicklung sicherer, vertrauenswürdiger und ethisch vertretbarer KI-Anwendungen weltweit eine Führungsrolle einzunehmen. Die Kommission hat erkannt, welche Vorteile der Einsatz von KI für Gesellschaft und Umwelt hat und welche Wettbewerbsvorteile sich für europäische Unternehmen ergeben. Zugleich sieht der europäische Gesetzgeber die Risiken, die beim Einsatz von KI für die Gesellschaft entstehen können. Diese Risiken soll die KI-VO eindämmen, indem sie für alle Akteure in der Lieferkette eines KI-Systems, Pflichten auferlegt. Was die KI-VO nicht regelt, sind Haftungsfragen rund um den Einsatz von KI. Diese sollen in zukünftigen Richtlinien der EU adressiert werden.

1. Sachlicher Anwendungsbereich: KI-Definition

Der europäische Gesetzgeber versucht sich in der KI-VO erstmalig an einer Definition für KI-Systeme. Die KI-VO definiert den Begriff „KI-System“ in Art. 3 Nr. 1 wie folgt:

"Ein „KI-System“ ist ein maschinengestütztes System, das so konzipiert ist, dass es für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können.“  

Damit legt die KI-VO ein sehr weites Verständnis von KI-Systemen zugrunde, sodass erste Abgrenzungsschwierigkeiten zur herkömmlichen Software abzusehen sind. Während die herkömmliche Software ausschließlich auf und mit den von natürlichen Personen definierten Regeln funktioniert und Operationen automatisch ausführt, soll das KI-System mehr können. Vor allem soll es Eingaben oder Daten Ergebnisse autonom ableiten können. Dabei nutzt ein KI-System in der Regel Machine Learning sowie andere von der Logik gestützte Konzepte, um mit verschiedenen Graden an Autonomie zu arbeiten.

2. Persönlicher Anwendungsbereich

Der persönliche Anwendungsbereich der Verordnung ist sehr weit. Sie richtet sich an nahezu alle Akteure in der KI-Wertschöpfungskette. Insbesondere wird sie „Anbieter“ und „Nutzer“ von KI-Systemen adressieren. Der Anwendungsbereich erstreckt sich auf zahlreiche Unternehmen am EU-Markt, die Softwarelösungen mit implementierten KI-Elementen einsetzen, zumal auch Nutzer unter Umständen Adressaten der Pflichten für Anbieter werden können. Darüber hinaus enthält die Verordnung Pflichten für „Einführer“ und „Händler“, also solche Akteure, die KI-Systeme aus dem Ausland in den europäischen Markt einführen oder die Systeme vertreiben.

1. Regelungssystematik der KI-VO: Risikobasierter Ansatz

Die KI-VO verfolgt einen risikobasierten Ansatz. Das heißt, je höher die Risiken, die von einem KI-System für die Grundrechte von EU-Bürgern oder andere sensible Rechtsgüter ausgehen, desto strenger sind die regulato­rischen Anforderungen. Die Verordnung sieht vier Risikoklassen vor.

a) Verbotene KI-Systeme

Zunächst führt die KI-VO eine Reihe von Praktiken auf, die im Bereich der künstlichen Intelligenz gänzlich verboten sein sollen. Grund dafür sind nicht hinnehmbare Risiken für die Grundrechte und Werte der Union. Dazu zählen die Entwicklung und Verwendung von KI-Systemen, die Personen manipulie­ren, sodass sie sich oder anderen Personen einen physischen oder psychischen Schaden zufügen können. Außerdem soll KI verboten sein, mittels derer die Schwäche oder Schutzbedürftigkeit gewisser (vulnerabler) Gruppen ausge­nutzt wird und Personen in der Folge geschädigt werden können. Verboten werden zudem KI-Systeme, die zur Bewertung oder Klassifizierung der Ver­trauenswürdigkeit von Personen benutzt werden sollen (Social-Scoring- Systeme). Zuletzt wird, bis auf wenige Ausnahmen, die Verwendung bio­metrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen durch Ermittlungsbehörden zum Zweck der Strafverfolgung unter­sagt. Diese Verbotsliste wird für die wenigsten Unternehmen eine praktische Bedeutung haben, da sie nur besonders kritische Systeme enthält. Im Un­ternehmensalltag werden diese gegenwärtig nicht eingesetzt.

b) Hochrisiko KI-Systeme

Hochrisiko-KI umfasst solche Systeme, von denen eine besonders hohe Gefahr für die Gesundheit und Sicherheit oder die Grundrechte von EU-Bürgern befürchtet wird. Sie stellen den Hauptregelungsgegenstand der KI-VO dar, der Großteil der Anforderungen aus der Verordnung bezieht sich auf diese Risikogruppe. Viele Unternehmen nutzen – möglicherweise unbewusst – bereits jetzt Anwendungen, die zu­künftig als Hochrisiko-KI eingestuft sein werden.

Wann eine KI mit hohem Risiko vorliegt, ist in der Verordnung (in Art. 6 und im Anhang III) geregelt:. Danach soll ein KI-System zum einen dann mit einem hohen Risiko behaftet sein, wenn es selbst oder als Sicherheitsbauteil eines anderen Produktes aufgrund bereits bestehender EU-Harmonisie­rungsvorschriften einer Konformitätsbewertung unterzogen werden muss (sog. „embedded AI“). Vereinfacht gesagt, handelt es sich hier um bestimmte KI-Anwendungen, die in physischen Produkten verbaut sind.   

Ferner wird zum anderen dann von einer Hochrisiko-KI ausgegangen, wenn das KI-System in bestimmten Bereichen eingesetzt wird (z. B. Verwaltung, Personalmanagement oder Strafverfolgung) und einem der in Anhang III abschließend aufgeführten konkreten KI-Systeme aus diesen Bereichen entspricht. (sog. „stand-alone AI“). Hochrisiko-KI-Systeme im HR-Bereich könnten beispielhaft solche KI-Systeme sein, die für die Einstellung und die Auswahl von (neuen) Mitarbeitern in Bewerbungsprozessen eingesetzt werden (vgl. Art. 6 Nr. 4 a) und b) KI-VO).

c) Geringes und minimales Risiko

Ferner beschreibt die KI-VO Systeme mit geringem und mit minimalem Risiko. KI-Systeme mit geringem Risiko sind solche, die für die Interaktion mit Menschen bestimmt sind und nicht unter die Gruppe der verbotenen KI oder der Hochrisiko-KI fallen. Von solchen Algorithmen sollen potenziell lediglich gewisse Manipulationsrisiken ausgehen. Darunter fallen beispiels­weise Chatbots, die den Anschein menschlicher Kommunikation erwecken können. Daher müssen Unternehmen, die derartige Systeme entwickeln oder verwenden, vor allem gewisse Transparenzpflichten erfüllen. Die Nutzer von KI-Systemen sollen stets wissen, dass sie mit einer KI sprechen/schreiben oder KI-generierte Ergebnisse erhalten (gemeint sind vor allem Deepfakes). Nutzer von KI-Systemen mit minimalem Risiko sollen zudem Verhaltenskodizes (Code of Conduct) aufstellen, um einen verantwortungsbewussten Umgang mit KI-Systemen zu gewährleisten.

2. Wesentliche Pflichten aus der KI-VO

Die KI-VO enthält einen umfangreichen Katalog von Anforderungen und Ver­pflichtungen, die sich vor allem an Anbieter von KI richten. Doch auch für Nutzer bzw. Betreiber wie diese nach der Terminologie der KI-VO genannt werden, Einführer und Händler enthält die Verordnung Pflichten.

Die Anbieter und Betreiber von KI-Systemen müssen Maßnahmen ergreifen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen (KI-Kompetenz, Art. 4 KI-VO). Dabei sollen ihre technischen Kenntnisse, ihre Erfahrung berücksichtigt werden, um eine bestmögliche Schulung zu ermöglichen. Die Etablierung einer KI-Kompetenz im Unternehmen soll bereits sechs Monate nach Inkrafttreten der KI-VO erfolgen. Unternehmen sollten deshalb jetzt schon planen, wie sie ihre Mitarbeiter schulen können (z.B. durch KI-Richtlinien, Mitarbeiterschulungen, etc.).  

Weitere Anforderungen und Pflichten beziehen sich vor allem auf Hoch­risiko-KI.

Anbieter von Hochrisiko-KI-Systemen trifft die Verpflichtung zur Etablierung und Umsetzung von Maßnahmen aus den Bereichen:

• Risikomanagementsysteme
• Data-Governance
• Dokumentationspflichten
• Aufzeichnungspflichten
• Transparenz- und Instruktionspflichten
• Menschliche Aufsicht
• Genauigkeit, Robustheit und Cybersicherheit
• Qualitätsmanagementsystem
• Konformitätsbewertungsverfahren

Betreiber von Hochrisiko-KI-Systemen trifft u.a. die Verpflichtung zur Etablierung und Umsetzung von Maßnahmen aus den Bereichen:

• Etablierung von geeigneten technischen und organisatorischen Maßnahmen zur Verwendung von KI-Systemen gemäß der den Systemen beigefügten Betriebsanleitungen
• Menschliche Aufsicht durch qualifiziertes Personal
• Überwachung des Betriebs des Hochrisiko-KI-Systems anhand der Betriebsanleitung
• Protokollaufbewahrungspflichten
• Durchführung von Datenschutz-Folgenabschätzungen
• Zusammenarbeit mit Aufsichtsbehörde

KI arbeitet in vielen Fällen mit enormen Datenmengen. Deshalb sind bei der Entwicklung, aber auch im Umgang mit KI-Systemen häufig daten­schutzrechtliche Anforderungen zu beachten. Insbesondere im Rahmen des maschinellen Lernens (Machine Learning) werden KI-Algorithmen mit einer Vielzahl an Datensätzen trainiert. Beim Machine Learning lernt die Software autonom, indem sie auf Basis der Korrelation von alten und neuen Daten­mustern, Arbeitsergebnisse produziert. Je nach Input und Anwendungsfeld kommt es dabei auch zur Verarbeitung von personenbezogenen Daten. Die KI-VO stellt mit Blick auf den Datenschutz in Art. 2 Abs. 7 klar, dass die Vorgaben der DSGVO vollumfänglich Anwendung finden und von den betroffenen Unternehmen parallel zu den Vorgaben aus der KI-VO einzuhalten sind (z.B. bei der Entwicklung und Nutzung von KI) demgemäß wird es gegebenenfalls zu „Doppelverpflichtungen“ aus den beiden Verordnungen kommen. Die beiden Regelungsmaterien liegen inhaltlich nah beieinander, zudem ähnelt sich die Natur der Verpflichtungen und Regelungsansätze aus KI-VO und DSGVO an vielen Stellen. Bislang haben sich diverse Datenschutzaufsichtsbehörden zur Verarbeitung personenbezogener Daten in KI-Systemen (insbesondere beim Training von KI-Systemen) geäußert, z.B. zuletzt die Aufsichtsbehörde Hamburg. Unklar ist bislang, ob die Einhaltung der KI-VO in Deutschland durch die Datenschutzaufsichtsbehörden überwacht wird. Hierfür hat sich in einem am 16. Juli 2024 veröffentlichen Statement der Europäische Datenschutzausschuss ausgesprochen.

Die KI-VO umfasst eine Vielzahl von Anwendungen in unterschiedlichsten Bereichen. Smarte Vorsortierungen in der HR, Chatbots und generative KI im Marketing sowie optische Auswertungen in der Industrie und Medizin werden bereits seit Jahren zunehmend von Unternehmen genutzt. Die weite Definition der KI-VO könnte dazu führen, dass ein Großteil dieser Systeme zukünftig dem Anwendungsbereich der KI-VO unterfallen.

Bei Nichteinhaltung der Vorschriften der KI-VO drohen insbesondere Bußgelder von bis zu 7 % des jährlichen weltweiten Umsatzes des Unternehmens bzw. bis zu 35 Millionen Euro.

Unternehmen sollten zeitnah identifizieren, welche KI-Systeme oder KI-Modelle sie einsetzen bzw. auf dem Markt anbieten. Im nächsten Schritt sind Anwendungen entsprechend der Klassifizierung der KI-VO einzuordnen und die daraus resultierenden Verpflichtungen zu ermitteln und umzusetzen. Dies betrifft insbesondere die Informations- und Dokumentationspflichten aus der KI-VO sowie der DSGVO. Zur Umsetzung können Unternehmen beispielsweise KI-Richtlinien erarbeiten und intern kommunizieren, die eine einheitliche Umsetzung der Vorgaben aus der KI-VO gewährleisten.

Im Übrigen kann es je nach Umfang des Einsatzes oder der Entwicklung von KI-Anwendungen im Unternehmen empfehlenswert sein, ein interdisziplinäres KI-Gremium zu etablieren, welches die Umsetzung der KI-VO überwacht und KI-Einführungsprojekte begleitet. Alternativ kann auch ein AI Officer bzw. KI-Compliancebeauftragter benannt werden, welcher in die verschiedenen KI-Projekte eingebunden wird. Zwar schreibt die KI-VO solche Positionen nicht vor, aber innerhalb eines Unternehmens muss geklärt sein, wer für diese Themen verantwortlich ist. Eine entsprechende Governance- und Compliancestruktur muss etabliert werden.