Skip to content

ArbG Hamburg: Kein Mitbestimmungsrecht des Betriebsrats bei Gestattung der Nutzung von ChatGPT und anderer KI-Lösungen

ArbG Hamburg
Beschluss vom 16.01.2024
24 BVGa 1/24


Das ArbG Hamburg hat entschieden, dass kein Mitbestimmungsrecht des Betriebsrats bei Gestattung der Nutzung von ChatGPT und anderer KI-Lösungen besteht.

Aus den Entscheidungsgründen:
b) Der Antrag ist unbegründet, denn es fehlt bereits an einem Verfügungsanspruch des Beteiligten zu 1. (§§ 935, 940 ZPO, § 85 Abs. 2 ArbGG).

aa) Es kann dabei dahinstehen, ob ein Anspruch aus § 23 Abs. 3 BetrVG im Wege des einstweiligen Rechtsschutzes geltend gemacht werden kann (bejahend: LAG Rheinland-Pfalz vom 24.01.2019 – 2 TaBVGa 6/18; Fitting, § 23 BetrVG, Rn.76, Oetker, in: GK-BetrVG, § 23 BetrVG, Rn. 262; ablehnend: Besgen, in: Beck-OK Arbeitsrecht, § 23 BetrVG, Rn. 35; Koch, in: ErfK, § 23 BetrVG, Rn. 23; Thüsing, in: Richardi, § 23 BetrVG, Rn. 105), denn die Voraussetzungen des § 23 Abs. 3 BetrVG liegen nicht vor. Die Beteiligte zu 2. hat mit dem Einstellen von Guidelines, Handbuch und KI-Richtlinien ohne zuvor den Konzernbetriebsrat beteiligt zu haben, keine groben Verstöße gegen ihre Pflichten aus dem BetrVG begangen.

(1) Entgegen der Rechtsauffassung des Antragstellers hat die Beteiligte zu 2. mit den vorgenannten Maßnahmen, die zur Gestattung der Nutzung von ChatGPT und vergleichbarer Konkurrenzprogramme durch die Mitarbeiter geführt haben, § 87 Abs. 1 Nr. 1 BetrVG nicht verletzt.

Nach dieser Vorschrift hat der Betriebsrat mitzubestimmen in Fragen der Ordnung des Betriebs und des Verhaltens der Arbeitnehmer im Betrieb. Gegenstand des Mitbestimmungsrechts ist das betriebliche Zusammenleben und kollektive Zusammenwirken der Beschäftigten. Es beruht darauf, dass die Beschäftigten ihre vertraglich geschuldete Leistung innerhalb einer vom Arbeitgeber vorgegebenen Arbeitsorganisation erbringen und deshalb dessen Weisungsrecht unterliegen. Das berechtigt den Arbeitgeber dazu, Regelungen vorzugeben, die das Verhalten der Beschäftigten im Betrieb beeinflussen und koordinieren sollen. Solche Maßnahmen bedürfen der Zustimmung des Betriebsrats. Dies soll gewährleisten, dass die Beschäftigten gleichberechtigt an der Gestaltung des betrieblichen Zusammenlebens teilhaben können (BAG vom

Gemäß der ständigen Rechtsprechung des BAG hat der Betriebsrat entgegen dem überschießenden Wortlaut nur mitzubestimmen bei Maßnahmen, die das so genannte Ordnungsverhalten der Arbeitnehmer betreffen. Dieses ist berührt, wenn die Maßnahme auf die Gestaltung des kollektiven Miteinander oder die Gewährleistung und Aufrechterhaltung der vorgegebenen Ordnung des Betriebs zielt (BAG vom 27.09.2005 - 1 ABR 32/04). Mitbestimmungsfrei sind dagegen Maßnahmen, die das so genannte Arbeitsverhalten der Beschäftigten regeln. Darum handelt es sich, wenn der Arbeitgeber kraft seines arbeitsver-raglichen Weisungsrechts näher bestimmt, welche Arbeiten auszuführen sind und in welcher Weise das geschehen soll. Mitbestimmungsfrei sind deshalb Anordnungen, mit denen lediglich die Arbeitspflicht konkretisiert wird (BAG vom 23.08.2018 – 2 AZR 235/18). Die Entscheidung, ob, wann und wie die vertraglich zugesagte Arbeit zu erledigen ist und wie deren Erbringung kontrolliert und gesichert wird, fällt nicht unter den Mitbestimmungstatbestand (BAG vom 15.04.2014 – 1 ABR 85/12).

Wendet man diese Grundsätze der ständigen BAG-Rechtsprechung an, so fallen die Vorgaben zur Nutzung von ChatGPT und vergleichbarer Tools unter das mitbestimmungsfreie Arbeitsverhalten (so auch: Holthausen, RdA 2023, S. 261 ff.; Kalbfus/Schöberle, NZA 2023, S. 251 ff.; Witteler, ZD 2023, S. 377 ff.). Die Beteiligte zu 2. stellt ihren Arbeitnehmern ein neues Arbeitsmittel unter bestimmten Bedingungen zur Verfügung. Richtlinien, Handbuch usw. sind somit Anordnungen, welche die Art und Weise der Arbeitserbringung betreffen, weshalb kein Mitbestimmungsrecht aus § 87 Abs. 1 Nr. 1 BetrVG besteht.

Der Antragsteller hat in der mündlichen Verhandlung den Einwurf erhoben, dass durch die Erlaubnis der Beteiligten zu 2., die Arbeitnehmer können entscheiden, ob sie ChatGPT einsetzen, letztlich zwei Gruppen von Arbeitnehmern geschaffen wer/den, nämlich die Gruppe der Arbeitnehmer, die Künstlicher Intelligenz aufgeschlossen und die Gruppe, die dieser Entwicklung skeptisch gegenüberstehen, weshalb das Zusammenleben der Belegschaft und damit das Ordnungsverhalten betroffen seien. Eine solche Ansicht hätte zur Konsequenz, dass die nicht flächendeckende Einführung neuer Arbeitsmittel für vergleichbare Arbeitnehmer stets zu einer Zweiteilung führt, nämlich der Gruppe, welche das neue Arbeitsmittel einsetzt und der Gruppe, die noch mit den alten Arbeitsmitteln ihre Arbeitspflicht erfüllt, so dass in diesen Fällen der Betriebsrat zu beteiligen wäre, obwohl der Arbeitgeber nur Anordnungen getroffen hat, wie die Arbeit zu leisten ist. Dies ist mit dem gesetzgeberischen Willen, warum § 87 Abs. 1 Nr. 1 BetrVG ein Beteiligungsrecht begründen soll, nicht vereinbar.

(2) Auch das Mitbestimmungsrecht aus § 87 Abs. 1 Nr. 6 BetrVG hat die Beteiligte zu 2. nicht verletzt. Nach § § 87 Abs. 1 Nr. 6 BetrVG hat der Betriebsrat u.a. mitzubestimmen bei der Anwendung von technischen Einrichtungen, die dazu bestimmt sind, das Verhalten oder die Leistung der Arbeitnehmer zu überwachen. Das Mitbestimmungsrecht ist darauf gerichtet, Arbeitnehmer vor Beeinträchtigungen ihres Persönlichkeitsrechts durch den Einsatz technischer Überwachungseinrichtungen zu bewahren, die nicht durch schutzwerte Belange des Arbeitgebers gerechtfertigt und unverhältnismäßig sind (BAG vom 03.12.2016 – 1 ABR 7/15). „Überwachung“ im Sinne des Mitbestimmungsrechts ist ein Vorgang, durch den Informationen über das Verhalten oder die Leistung von Arbeitnehmern seitens des Arbeitgebers erhoben und – jedenfalls in der Regel – aufgezeichnet werden, um sie auch späterer Wahrnehmung zugänglich zu machen. Die Informationen müssen auf technische Weise ermittelt und dokumentiert werden, so dass sie zumindest für eine gewisse Dauer verfügbar bleiben und vom Arbeitgeber herangezogen werden können. Die Überwachung muss durch die technische Einrichtung selbst bewirkt werden. Dazu muss diese aufgrund ihrer technischen Natur unmittelbar die Überwachung vornehmen. Das setzt voraus, dass die technische Einrichtung selbst und automatisch die Daten über bestimmte Vorgänge erhebt, speichert und/oder verarbeitet. Ausreichend ist, wenn lediglich ein Teil des Überwachungsvorgangs mittels einer technischen Einrichtung erfolgt. Zur Überwachung „bestimmt“ sind technische Einrichtungen, wenn sie objektiv geeignet sind, dass der Arbeitgeber Verhaltens- oder Leistungsinformationen über den Arbeitnehmer erheben und aufzuzeichnen kann. Auf die subjektive Überwachungsabsicht des Arbeitgebers kommt es nicht an ((BAG vom 03.12.2016 – 1 ABR 7/15).

Vorliegend ist unstreitig, dass ChatGPT und die vergleichbaren Konkurrenzprodukte nicht auf den Computersystemen der Beteiligten zu 2. installiert wurden. Will ein Arbeitnehmer diese Tools nutzen, muss er diese wie jede andere Homepage auch, mittels eines Browsers aufrufen. Zwar wird der Browser die Einwahl regelmäßig aufzeichnen. Dies stellt aber keine Besonderheit von ChatGPT dar, sondern ergibt sich aus den Funktionsmöglichkeiten des Browsers, der den Surfverlauf des Nutzers abspeichert. Der Browser selbst ist somit eine technische Einrichtung, die geeignet ist, Leistungs- und Verhaltensinformationen der Arbeitnehmer aufzuzeichnen. Zur Nutzung von Browsern haben die Beteiligten eine Konzernbetriebsvereinbarung abgeschlossen, weshalb der Antragsteller sein Mitbestimmungsrecht aus § 87 Abs. 1 S. 1 BetrVG bereits ausgeübt hat.

Unstreitig ist, dass der Arbeitnehmer selbst einen Account bei ChatGPT anlegen und eventuell entstehende Kosten auch selbst tragen muss, weshalb die Beteiligte zu 2. keinerlei Meldung erhält, wann welcher Arbeitnehmer wie lange und mit welchem Anliegen ChatGPT genutzt hat. Dass der Hersteller etwa von ChatGPT die vorgenannten Daten aufzeichnet, ist zu unterstellen. Dies führt aber nicht zur Mitbestimmung, denn der dadurch entstehende Überwachungsdruck wird nicht vom Arbeitgeber ausgeübt. Die Beteiligte zu 2. kann auf die vom Hersteller gewonnenen Informationen nicht zugreifen. Mit der Nutzung von ChatGPT vergleichbar ist etwa „beck-online“ (Datenbank des Beck-Verlags), wenn der Nutzer seinen eigenen Account angelegt und die Kosten selber zu tragen hat.

Auch die Vorgabe der Beteiligten zu 2., dass Arbeitnehmer Arbeitsergebnisse, die mittels Unterstützung von Künstlicher Intelligenz entstanden sind, kennzeichnen müssen, führt nicht zu einem Mitbestimmungsrecht nach § 87 Abs. 1 Nr. 6 BetrVG. Wie ausgeführt muss die technische Einrichtung die Überwachung selbst bewirken, um eine Mitbestimmung auszulösen. Die Kennzeichnung und die damit verbundene Kontrollmöglichkeit der Beteiligten zu 2., wer Chatbots einsetzt, erfolgt aber hier durch den Arbeitnehmer selbst und nicht durch das Tool.

(3) Ebenfalls ist ein Mitbestimmungsrecht aus § 87 Abs. 1 Nr. 7 BetrVG nicht ersichtlich. Voraussetzung für das Mitbestimmungsrecht nach § 87 Abs. 1 Nr. 7 BetrVG i.V.m. § 3a Abs. 1 S. 1 ArbStättV; § 3 Abs. 1 S. 1 ArbStättV ist eine vorliegende oder im Rahmen einer Gefährdungsbeurteilung nach § 5 ArbSchG festgestellte konkrete Gefährdung der Mitarbeiter (LAG Düsseldorf vom 09.01.2018 – 3 TaBVGa 6/17). Zu einer konkreten Gefährdung hat der Antragsteller nichts vorgetragen, sie sind auch sonst nicht erkennbar.

(4) Dahinstehen kann, ob die Beteiligte zu 2. die Unterrichtungs- und Beratungsrechte des Betriebsrats nach § 90 Abs. 1 Nr. 3, Abs. 2 BetrVG hinreichend erfüllt hat, denn ein einmaliger Verstoß gegen § 90 BetrVG stellt noch keine grobe Pflichtverletzung i.S.d. § 23 Abs. 3 BetrVG dar.

bb) Ein Verfügungsanspruch ergibt sich auch nicht aus § 87 Abs. 1 BetrVG. Zwar steht dem Betriebsrat zum Schutz seiner in § 87 Abs. 1 BetrVG aufgeführten Mitbestimmungsrechte ein negatorischer Beseitigungs- und Unterlassungsanspruch zu (BAG vom 23.03.2021 – 1 ABR 31/19; Richardi/Maschmann, in: Richardi, § 87 BetrVG, Rn. 134 ff.). Wie dargelegt ist aber im vorliegenden Fall kein Mitbestimmungsrecht des Antragsstellers berührt, weshalb auch kein Beseitigungsanspruch besteht.

cc) Aus § 90 BetrVG kann sich ein Verfügungsanspruch nicht ergeben, denn § 90 BertVG gewährt lediglich Unterrichtungs- und Beratungsrechte, aber kein Mitbestimmungsrecht, das den Arbeitgeber an einer einseitigen Durchführung der Maßnahme hindert. Daher würde eine einstweilige Verfügung gerichtet auf Beseitigung oder Unterlassen einer Maßnahme über den Hauptanspruch hinausgehen (vgl. nur: Fitting, § 90 BetrVG, Rn. 48).


Den Volltext der Entscheidung finden Sie hier:

EU-Parlament und EU-Rat: Entwurf Artificial Intelligence Act - Proposal for a regulation of the European Parliament and of the Council on harmonised rules on Artificial Intelligence

EU-Parlament und EU-Rat haben einen Entwurf des Artificial Intelligence Act vorgelegt.

Aus dem Entwurf:
Gründe und Ziele des Vorschlags

Diese Begründung ist dem Vorschlag für eine Verordnung beigefügt, mit der harmonisierte Vorschriften für künstliche Intelligenz festgelegt werden (Gesetz über künstliche Intelligenz). Künstliche Intelligenz (KI) bezeichnet eine Reihe von Technologien, die sich rasant entwickeln und einen vielfältigen Nutzen für Wirtschaft und Gesellschaft über das gesamte Spektrum industrieller und gesellschaftlicher Aktivitäten hinweg hervorbringen können. Der Einsatz künstlicher Intelligenz zur Verbesserung von Prognosen, zur Optimierung von Abläufen und der Ressourcenzuweisung sowie zur Personalisierung der Diensteerbringung kann für die Gesellschaft und die Umwelt von Nutzen sein und Unternehmen sowie der europäischen Wirtschaft Wettbewerbsvorteile verschaffen. Bedarf besteht insbesondere in Sektoren, von denen eine große Wirkung ausgeht, wie Klimaschutz, Umwelt und Gesundheit, öffentlicher Sektor, Finanzen, Mobilität, Inneres und Landwirtschaft. Dieselben Faktoren und Techniken, die für den sozioökonomischen Nutzen der KI sorgen, können aber auch neue Risiken oder Nachteile für den Einzelnen oder die Gesellschaft hervorbringen. Vor dem Hintergrund des rasanten technologischen Wandels und möglicher Herausforderungen ist die EU entschlossen, einen ausgewogenen Ansatz zu erreichen. Es liegt im Interesse der Union, die technische Führungsrolle der EU auszubauen und dafür zu sorgen, dass die Europäerinnen und Europäer von den im Einklang mit den Werten, Grundrechten und Prinzipien der Union entwickelten und funktionierenden neuen Technologien profitieren können.

Dieser Vorschlag geht auf das politische Engagement von Präsidentin von der Leyen zurück, die in ihren politischen Leitlinien für die Kommission (2019-2024) – „Eine Union, die mehr erreichen will“ 1 – ankündigte, dass die Kommission einen Legislativvorschlag für ein koordiniertes europäisches Konzept für die menschlichen und ethischen Aspekte der KI vorlegen wird. Im Nachgang zu dieser Ankündigung veröffentlichte die Kommission am 19. Februar 2020 ihr Weißbuch zur KI – Ein europäisches Konzept für Exzellenz und Vertrauen 2 . In dem Weißbuch legt sie die politischen Optionen dar, wie die Nutzung von KI gefördert und gleichzeitig die mit bestimmten Anwendungen dieser Technologie verbundenen Risiken eingedämmt werden können. Dieser Vorschlag zielt darauf ab, einen Rechtsrahmen für eine vertrauenswürdige KI zu schaffen, damit das zweite Ziel für den Aufbau eines Ökosystems für Vertrauen umgesetzt werden kann. Der Vorschlag beruht auf den Werten und Grundrechten der EU und will erreichen, dass Privatpersonen und andere Nutzer KI-gestützten Lösungen vertrauen und gleichzeitig Unternehmen Anreize erhalten, diese zu entwickeln. KI sollte ein Instrument sein, das als positive Kraft für die Gesellschaft im Dienst der Menschen steht und das letztlich zu einem größeren Wohlbefinden der Menschen beiträgt. Vorschriften für KI, die auf dem Unionsmarkt verfügbar ist oder anderweitig Menschen in der Union beeinflusst, sollten daher auf den Menschen ausgerichtet sein, damit Menschen darauf vertrauen können, dass die Technik sicher angewandt wird und den Gesetzen, auch den Grundrechten, genügt. Nach Veröffentlichung des Weißbuchs leitete die Kommission eine breit angelegte Konsultation der Interessenträger ein, die reges Interesse zeigten und sich in großer Zahl beteiligten und die weitestgehend regulatorische Maßnahmen zur Bewältigung der Herausforderungen und Bedenken, die der zunehmende Einsatz von KI mit sich bringt, befürworteten.

Der Vorschlag ist zudem eine Reaktion auf die vom Europäischen Parlament und dem Europäischen Rat ausdrücklich und wiederholt erhobenen Forderungen nach legislativen Maßnahmen zur Gewährleistung eines reibungslos funktionierenden Binnenmarkts für Systeme der künstlichen Intelligenz (KI-Systeme), mit denen sowohl der Nutzen als auch die Risiken der KI auf Unionsebene angemessen geregelt werden. Er unterstützt das vom Europäischen Rat 3 formulierte Ziel der Union, bei der Entwicklung einer sicheren, vertrauenswürdigen und ethisch vertretbaren künstlichen Intelligenz weltweit eine Führungsrolle einzunehmen, und sorgt für den vom Europäischen Parlament 4 ausdrücklich geforderten Schutz von Ethikgrundsätzen.

2017 forderte der Europäische Rat „ein Bewusstsein für die Dringlichkeit der Auseinandersetzung mit neuen Trends“, auch für „Themen wie künstliche Intelligenz....“, „wobei zugleich ein hohes Niveau in Bezug auf Datenschutz, digitale Rechte und ethische Standards gewahrt werden muss“ 5 . In seinen Schlussfolgerungen von 2019 zu dem koordinierten Plan für künstliche Intelligenz „Made in Europe“ 6 betont der Rat ferner, wie wichtig es ist, die uneingeschränkte Achtung der Rechte der europäischen Bürgerinnen und Bürger zu gewährleisten, und ruft dazu auf, die maßgeblichen geltenden Rechtsvorschriften zu überprüfen, um sicherzustellen, dass sie im Hinblick auf die neuen Chancen und Herausforderungen, die sich durch künstliche Intelligenz ergeben, zweckdienlich sind. Der Europäische Rat forderte zudem eine klare Festlegung von KI-Anwendungen, die als hochriskant eingestuft werden sollten 7 .

In seinen jüngsten Schlussfolgerungen vom 21. Oktober 2020 forderte der Rat zudem, dass Probleme wie Undurchsichtigkeit, Komplexität, der sogenannte „Bias“, ein gewisses Maß an Unberechenbarkeit und teilweise autonomes Verhalten einiger KI-Systeme angegangen werden müssen, um deren Vereinbarkeit mit den Grundrechten sicherzustellen und die Durchsetzung der Rechtsvorschriften zu erleichtern 8 .

Auch das Europäische Parlament hat sich intensiv mit dem Thema der KI befasst. Im Oktober 2020 nahm es eine Reihe von Entschließungen zur KI an, u. a. zur Ethik 9 , zivilrechtlichen Haftung 10 und zum Urheberrecht 11 . 2021 folgten weitere Entschließungen zur KI im Strafrecht 12 sowie in der Bildung, der Kultur und im audiovisuellen Bereich 13 . In seiner Entschließung zu dem Rahmen für die ethischen Aspekte von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien empfiehlt das Europäische Parlament der Kommission insbesondere legislative Maßnahmen vorzuschlagen, um so die Chancen und den Nutzen künstlicher Intelligenz auszuschöpfen, aber auch dafür zu sorgen, dass Ethik-Grundsätze geschützt werden. Die Entschließung enthält den Legislativvorschlag für eine Verordnung über Ethik-Grundsätze für die Entwicklung, den Einsatz und die Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien im Wortlaut. Dieser Vorschlag berücksichtigt die vorstehende Entschließung des Europäischen Parlaments unter uneingeschränkter Wahrung der Grundsätze der Verhältnismäßigkeit, Subsidiarität und besseren Rechtsetzung und steht damit in Einklang mit den von Präsidentin von der Leyen in ihren politischen Leitlinien gemachten politischen Zusagen hinsichtlich der Behandlung der vom Europäischen Parlament angenommenen Entschließungen nach Artikel 225 AEUV.

Vor diesem politischen Hintergrund legt die Kommission ihren Vorschlag für einen Rechtsrahmen zur Künstlichen Intelligenz vor, mit dem konkret die folgenden Ziele angestrebt werden:

·Es muss gewährleistet sein, dass die auf dem Unionsmarkt in Verkehr gebrachten und verwendeten KI-Systeme sicher sind und die bestehenden Grundrechte und die Werte der Union wahren.

·Zur Förderung von Investitionen in KI und innovativen KI muss Rechtssicherheit gewährleistet sein.

·Governance und die wirksame Durchsetzung des geltenden Rechts zur Wahrung der Grundrechte sowie die Sicherheitsanforderungen an KI-Systeme müssen gestärkt werden.

·Die Entwicklung eines Binnenmarkts für rechtskonforme, sichere und vertrauenswürdige KI-Anwendungen muss erleichtert werden und es gilt, eine Marktfragmentierung zu verhindern.

Mit Blick auf diese Ziele enthält dieser Vorschlag einen ausgewogenen horizontalen Regulierungsansatz für KI, der die Verhältnismäßigkeit wahrt und auf die Mindestanforderungen beschränkt ist, die zur Bewältigung der in Verbindung mit KI auftretenden Risiken und Probleme notwendig ist, ohne die technologische Entwicklung übermäßig einzuschränken oder zu behindern oder anderweitig die Kosten für das Inverkehrbringen von KI-Lösungen unverhältnismäßig in die Höhe zu treiben. Der Vorschlag zielt auf einen robusten und flexiblen Rechtsrahmen ab. Einerseits ist der Vorschlag in seinen grundlegenden Regulierungsentscheidungen umfassend und zukunftsorientiert. Dies gilt auch für die von den KI-Systemen zu erfüllenden und auf Grundsätzen beruhenden Anforderungen. Andererseits wird ein Regulierungssystem geschaffen, das die Verhältnismäßigkeit wahrt und auf genau definierte Risiken ausgerichtet ist. Dieser Regulierungsansatz schafft keine unnötigen Handelsbeschränkungen und der Gesetzgeber schreitet nur in solchen konkreten Situationen ein, in denen ein berechtigter Anlass für Bedenken besteht oder in denen vernünftigerweise davon ausgegangen werden kann, dass solche Bedenken in naher Zukunft auftreten werden. Gleichzeitig enthält der Rechtsrahmen Mechanismen, mit denen er flexibel und dynamisch an die technologische Entwicklung und neue bedenkliche Situationen angepasst werden kann.

Der Vorschlag enthält harmonisierte Vorschriften für die Entwicklung, das Inverkehrbringen und die Verwendung von KI-Systemen in der Union, die im Verhältnis zu den Risiken stehen. Die vorgeschlagene Begriffsbestimmung für KI ist zukunftstauglich. Während einige besonders schädliche KI-Praktiken, die gegen die Werte der Union verstoßen, verboten sind, werden für die Zwecke der Strafverfolgung für bestimmte Anwendungen biometrischer Fernidentifizierungssysteme konkrete Beschränkungen und Sicherheitsmaßnahmen vorgeschlagen. Der Vorschlag enthält eine solide Risiko-Methodik zur Einstufung von Hochrisiko-KI-Systemen, d. h. solchen Systemen, die erhebliche Risiken für die Gesundheit und Sicherheit oder die Grundrechte von Personen bergen. Solche KI-Systeme müssen horizontalen Auflagen für vertrauenswürdige KI genügen und Konformitätsbewertungsverfahren unterzogen werden, bevor sie in der Union in Verkehr gebracht werden dürfen. Damit die Sicherheit und die Einhaltung bestehender Rechtsvorschriften zum Schutz der Grundrechte über den gesamten Lebenszyklus von KI-Systemen hinweg gewahrt bleiben, werden Anbietern und Nutzern dieser Systeme berechenbare, verhältnismäßige und klare Pflichten auferlegt. Für einige KI-Systeme werden nur minimale Transparenzpflichten vorgeschlagen, insbesondere für den Einsatz von Chatbots oder „Deepfakes“.

Die vorgeschlagenen Vorschriften werden von den Mitgliedstaaten mittels einer Leitungsstruktur durchgesetzt, die auf bereits vorhandenen Strukturen aufbaut, sowie mittels eines Kooperationsmechanismus auf Unionsebene, auf der ein Europäischer Ausschuss für künstliche Intelligenz eingesetzt wird. Zusätzliche Maßnahmen werden zur Unterstützung von Innovation, vor allem in Form von KI-Reallaboren, sowie zur Verringerung des Verwaltungsaufwands und zur Förderung von kleinen und mittleren Unternehmen (KMU) und Startups vorgeschlagen.