Skip to content

Verbotene Praktiken nach Art. 5 der KI-Verordnung - Manipulative KI-Systeme - Ausnutzung der Schwächen von Personengruppen - Social Scoring - Biometrische Fernidentifizierung im öffentlichen Raum

Mit Inkrafttreten der Verordnung (EU) 2024/1689 zur Regulierung von Künstlicher Intelligenz (KI-Verordnung) hat die Europäische Union einen neuen regulatorischen Rahmen geschaffen, um die Nutzung von KI-Systemen zu steuern und Risiken für Sicherheit, Gesundheit und Grundrechte zu minimieren. Die Verordnung basiert auf einem risikobasierten Ansatz und enthält klare Vorgaben für den Einsatz von KI-Systemen. Im Mittelpunkt steht dabei die Unterscheidung zwischen verschiedenen Risikokategorien, wobei die gefährlichsten KI-Praktiken vollständig verboten sind.

Artikel 5 der KI-Verordnung benennt abschließend bestimmte verbotene KI-Praktiken. Diese Praktiken gelten als so schwerwiegend, dass ihr Einsatz unabhängig vom Verwendungszweck oder der jeweiligen Branche vollständig untersagt ist. Unternehmen, die solche KI-Systeme entwickeln oder einsetzen, müssen mit erheblichen Sanktionen rechnen. In diesem Beitrag wird detailliert erläutert, wann verbotene KI-Praktiken vorliegen, welche Vorschriften dies regeln und welche rechtlichen Konsequenzen dies für Unternehmen hat.

I. Wann liegen verbotene KI-Praktiken vor?
Die KI-Verordnung unterscheidet in Artikel 5 zwischen verschiedenen KI-Praktiken, die per se verboten sind, da sie gegen fundamentale Rechte und Werte verstoßen oder erhebliche Risiken für die öffentliche Sicherheit darstellen. Diese Praktiken sind abschließend aufgelistet und umfassen folgende Hauptkategorien:

1. Manipulative KI-Systeme
Artikel 5 Abs. 1 lit. a verbietet den Einsatz von KI-Systemen, die durch unterbewusste Techniken das Verhalten von Personen in einer Weise manipulieren, dass dies zu physischen oder psychischen Schäden führt. Ziel dieser Vorschrift ist der Schutz der Autonomie und des freien Willens von Individuen. Manipulative Systeme, die gezielt unterbewusste Techniken nutzen, um Menschen zu bestimmten Handlungen zu verleiten, stellen ein erhebliches Risiko dar.

Beispielsweise könnte ein KI-System, das unbewusst Kaufentscheidungen beeinflusst oder Menschen zu gesundheitsschädlichem Verhalten verleitet, unter diese Kategorie fallen. Ein solches System würde das Risiko mit sich bringen, dass die betroffene Person gegen ihren Willen zu Handlungen gedrängt wird, die ihr schaden.

2. Ausnutzung von Schwächen bestimmter Personengruppen
Nach Artikel 5 Abs. 1 lit. b ist der Einsatz von KI-Systemen verboten, die die besonderen Schwächen bestimmter Personengruppen ausnutzen, wie z. B. Kinder oder Menschen mit Behinderungen. Diese Vorschrift zielt auf den Schutz besonders schutzbedürftiger Gruppen ab, die durch KI-Systeme besonders leicht zu manipulieren oder zu beeinflussen sind.

Ein Beispiel wäre eine KI, die Kinder gezielt dazu verleitet, exzessiv Videospiele zu spielen oder Käufe zu tätigen, indem sie deren mangelnde kognitive Reife oder emotionale Schwächen ausnutzt.

3. KI-Systeme zur sozialen Bewertung (Social Scoring)
Artikel 5 Abs. 1 lit. c verbietet den Einsatz von KI-Systemen durch Behörden zur Bewertung des Verhaltens von Bürgern über einen längeren Zeitraum hinweg und zur Vergabe von sozialen Vorteilen oder Nachteilen (sogenanntes „Social Scoring“). Ein solches System könnte dazu führen, dass Personen aufgrund ihres Verhaltens oder anderer Kriterien in diskriminierender Weise behandelt werden.

Ein bekanntes Beispiel hierfür ist das Social Credit System, das in einigen Staaten zur Bewertung des Verhaltens von Bürgern eingesetzt wird. Dieses Vorgehen birgt das Risiko, dass soziale, wirtschaftliche oder rechtliche Entscheidungen auf Grundlage ungenauer oder unverhältnismäßiger Bewertungen getroffen werden.

4. Biometrische Fernidentifizierung im öffentlichen Raum
Artikel 5 Abs. 1 lit. d der KI-Verordnung untersagt den Einsatz von KI-Systemen zur biometrischen Fernidentifizierung in Echtzeit in öffentlichen Räumen, es sei denn, sie sind ausdrücklich durch das Recht der Union oder der Mitgliedstaaten erlaubt. Derartige Systeme, wie beispielsweise Gesichtserkennungstechnologien, können eine massive Überwachung ermöglichen und das Recht auf Privatsphäre erheblich einschränken.

Ausnahmen bestehen nur in streng geregelten Fällen, etwa bei der Verhinderung schwerer Straftaten oder zur Terrorismusbekämpfung, und müssen von den zuständigen Behörden genehmigt werden.

II. Rechtliche Konsequenzen für Unternehmen
Für Unternehmen, die verbotene KI-Praktiken anwenden, hat die Nichteinhaltung der Vorschriften schwerwiegende Folgen. Die Verordnung sieht umfassende Sanktionen vor, die insbesondere in Artikel 71 geregelt sind.

1. Bußgelder
Verstöße gegen Artikel 5 der KI-Verordnung können mit erheblichen Bußgeldern geahndet werden. Artikel 71 Abs. 3 legt fest, dass Unternehmen bei Verstößen gegen die Verbotsvorschriften Geldbußen von bis zu 30 Millionen Euro oder 6 % des weltweiten Jahresumsatzes des Unternehmens zu zahlen haben, je nachdem, welcher Betrag höher ist. Diese hohen Bußgelder unterstreichen den Stellenwert der Verordnung und die Schwere von Verstößen.

Diese Sanktionen stehen in ihrer Höhe den Bußgeldern der Datenschutz-Grundverordnung (DSGVO) nahe und verdeutlichen die Entschlossenheit der EU, die Einhaltung der Vorschriften durchzusetzen.

2. Betriebseinstellungen und Vertriebsverbote
Neben Bußgeldern kann die zuständige Aufsichtsbehörde gemäß Artikel 71 Abs. 4 auch andere Sanktionen verhängen, darunter:

Einstellung des Betriebs eines KI-Systems, das gegen die Verbote verstößt,
Rückruf von Produkten, die verbotene KI-Systeme enthalten,
Verbot des Inverkehrbringens oder der Bereitstellung von solchen Systemen auf dem europäischen Markt.
Diese Maßnahmen können für Unternehmen besonders schwerwiegend sein, da sie direkt den Fortbestand des Geschäftsmodells oder den Einsatz von innovativen Technologien betreffen.

3. Haftung für Schäden
Unternehmen, die verbotene KI-Systeme einsetzen, können zudem zivilrechtlich für Schäden haftbar gemacht werden, die durch den Einsatz solcher Systeme verursacht wurden. Dies ergibt sich aus den allgemeinen Haftungsvorschriften im Zivilrecht, aber auch aus der DSGVO, sofern personenbezogene Daten betroffen sind. Geschädigte Personen haben das Recht, auf Schadensersatz zu klagen, insbesondere wenn durch den Einsatz eines verbotenen KI-Systems ihre Grundrechte verletzt wurden.

III. Praktische Herausforderungen für Unternehmen
Die Implementierung der Vorschriften der KI-Verordnung erfordert von Unternehmen erhebliche Anstrengungen. Insbesondere die Einhaltung der Verbote nach Artikel 5 stellt Unternehmen vor praktische Herausforderungen:

1. Risikoabschätzung und Compliance
Unternehmen müssen sicherstellen, dass ihre KI-Systeme im Einklang mit den Verboten stehen. Hierzu sind umfassende Risikomanagement-Systeme erforderlich, die mögliche Risiken von KI-Anwendungen erfassen und geeignete Maßnahmen zur Vermeidung von Verstößen festlegen. Da KI-Systeme oft komplex und schwer durchschaubar sind, müssen Unternehmen sicherstellen, dass sie die Funktionsweise ihrer Systeme genau kennen und regelmäßig überprüfen.

2. Interne Kontrollen und Prüfmechanismen
Ein wichtiger Bestandteil der Compliance-Strategie ist die Implementierung von internen Prüfmechanismen, die sicherstellen, dass verbotene KI-Praktiken nicht unbewusst in die Unternehmensprozesse eingebaut werden. Dies erfordert insbesondere regelmäßige Audits und die Einrichtung von Kontrollinstanzen innerhalb des Unternehmens, etwa durch Ethik- oder Datenschutzbeauftragte, die den Einsatz von KI-Systemen überwachen.

3. Schulung und Sensibilisierung der Mitarbeiter
Da KI-Systeme oft tief in den Unternehmensprozessen verankert sind, ist es notwendig, die Mitarbeiter regelmäßig zu schulen und für die rechtlichen Anforderungen zu sensibilisieren. Dies gilt insbesondere für Entwickler und Anwender von KI-Systemen, die für die Einhaltung der Vorschriften verantwortlich sind.

Fazit
Artikel 5 KI-Verordnung soll sicherstellen, dass besonders gefährliche und ethisch bedenkliche KI-Praktiken vollständig verboten werden. Für Unternehmen ist die Einhaltung dieser Verbote von entscheidender Bedeutung, da Verstöße nicht nur zu erheblichen Bußgeldern, sondern auch zu Betriebsverboten und anderen schwerwiegenden Konsequenzen führen können.

Unternehmen müssen daher umfassende Compliance-Strategien entwickeln, um sicherzustellen, dass ihre KI-Systeme im Einklang mit der Verordnung stehen. Besonders im Hinblick auf die verbotenen Praktiken erfordert dies ein hohes Maß an Transparenz und interne Prüfmechanismen, um die Risiken, die von der Nutzung von KI ausgehen, wirksam zu kontrollieren. Rechtsprechung und Aufsichtspraxis werden zeigen, wie streng die Vorschriften der KI-Verordnung durchgesetzt werden. Ein Blick in die Vergangenheit zeigt, dass sich immer Gerichte und Aufsichtsbehörden finden, welche einen besonder strengen Maßstab bei der Auslegung rechtliche Vorgaben anglegen.


KI-Verordnung - Verordnung (EU) 2024/1689 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz wurde im Amtsblatt der EU veröffentlicht

Die Verordnung (EU) 2024/1689 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (KI-Verordnung) wurde am 12.07.2024 im Amtsblatt der EU veröffentlicht.

Die vollständige Verordnung finden Sie hier:
VERORDNUNG (EU) 2024/1689 DES EUROPÄISCHEN PARLAMENTS UND DES RATES vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Verordnung über künstliche Intelligenz)

Die Vorschriften treten sukzessive in Kraft. In Art. 113 KI-Verordnung heißt es dazu:
Art. 113 Inkrafttreten und Geltungsbeginn
Diese Verordnung tritt am zwanzigsten Tag nach ihrer Veröffentlichung im Amtsblatt der Europäischen Union in Kraft. Sie gilt ab dem 2. August 2026.
Jedoch:
a) Die Kapitel I und II gelten ab dem 2. Februar 2025;
b) Kapitel III Abschnitt 4, Kapitel V, Kapitel VII und Kapitel XII sowie Artikel 78 gelten ab dem 2. August 2025, mit Ausnahme des Artikels 101;
c) Artikel 6 Absatz 1 und die entsprechenden Pflichten gemäß dieser Verordnung gelten ab dem 2. August 2027.



VG München: Per ChatGPT erstelltes Essay ist ein Täuschungsversuch und rechtfertigt Ablehnung des Zugangs zum Masterstudiengang

VG München
Beschluss vom 28.11.2023
M 3 E 23.4371


Das VG München hat entschieden, dass ein per ChatGPT erstelltes Essay ein Täuschungsversuch darstellte und die Ablehnung des Zugangs zum Masterstudiengang rechtfertigt.

Aus den Entscheidungsgründen:
Nach Art. 90 Abs. 1 Satz 2 des Bayerischen Hochschulinnovationsgesetzes (BayHIG) vom 5. August 2022 (GVBl. S. 414, BayRS 2210-1-3-WK), zuletzt geändert durch Gesetz vom 23. Dezember 2022 (GVBL. S. 709), können die Hochschulen für den Zugang zu einem Masterstudiengang neben den allgemeinen Qualifikationsvoraussetzungen (Art. 90 Abs. 1 Satz 1 BayHIG: Hochschulabschluss oder aufgrund eines Hochschulstudiums erworbener gleichwertiger Abschluss) durch Satzung weitere Zugangsvoraussetzungen festlegen, insbesondere den Nachweis einer studiengangspezifischen Eignung. Sie dürfen im Rahmen von Eignungsverfahren Qualifikationsnachweise fordern, soweit diese sicherstellen, dass die Bewerber den Anforderungen des von der Hochschule konzipierten Studiengangs gerecht werden und die hinreichende Aussicht besteht, dass sie das Studium im Hinblick auf diese Anforderungen erfolgreich abschließen können. Allerdings dürfen die Hochschulen den Zugang durch Eignungsanforderungen nicht uneingeschränkt begrenzen und etwa trotz vorhandener Ausbildungskapazitäten ein „Wunschkandidatenprofil“ festlegen. Die Qualifikationsanforderungen, die die Hochschulen insoweit aufstellen dürfen, hängen vielmehr von den speziellen fachlichen Anforderungen des jeweiligen Masterstudiengangs ab (BayVGH, B.v. 4.6.2020 – 7 CE 20.460 – BeckRS 2020, 14715 Rn. 21). Dabei müssen die Hochschulen sowohl die verfahrensrechtlichen Vorgaben der Eignungsfeststellung als auch die inhaltlichen Kriterien, die für die Eignungsfeststellung maßgeblich sein sollen, sowie deren jeweilige Gewichtung hinreichend klar festlegen (BayVGH, B.v. 5.11.2021 – 7 CE 21.2344 – juris Rn. 12 m.w.N.).

Die Qualifikation für den Masterstudiengang „…“ wird nach § 36 der Fachprüfungs- und Studienordnung für den Masterstudiengang … an der T. U. M. vom 27. April 2022 in der Fassung der Änderungssatzung vom 30. März 2023 (im Folgenden: FPSO) nachgewiesen durch einen an einer in- oder ausländischen Hochschule erworbenen mindestens sechssemestrigen qualifizierten Bachelorabschluss oder einen mindestens gleichwertigen Abschluss in den Studiengängen … und …, …, … oder vergleichbaren Studiengängen (§ 36 Abs. 1 Nr. 1, Abs. 2, 3 FPSO), adäquate Kenntnisse der englischen Sprache (§ 36 Abs. 1 Nr. 2 FPSO) und das Bestehen des Eignungsverfahrens (§ 36 Abs. 1 Nr. 4 FPSO i.V.m. Anlage 2 der FPSO); der von bestimmten Bewerbergruppen zu erbringende Nachweis über Fachkenntnisse in Form eines „Graduate Management Admission Test“ (GMAT) nach § 36 Abs. 1 Nr. 3 FPSO ist für den Antragsteller nicht zwingend vorgesehen.

Nach Nr. 4.1 Satz 1 der Anlage 2 zur FPSO setzt die Durchführung des Eignungsverfahrens voraus, dass die in Nr. 2.2 der Anlage 2 zur FPSO genannten Unterlagen form- und fristgerecht, unter Einhaltung der Regeln guter wissenschaftlicher Praxis sowie vollständig vorliegen. Nach Nr. 2.2 der Anlage 2 zur FPSO sind Anträge auf Durchführung des Eignungsverfahrens nach § 6 der Immatrikulationssatzung zusammen mit den dort genannten Unterlagen sowie die in Nr. 2.3 der Anlage 2 zur FPSO und in § 36 Abs. 1 Nr. 2 FPSO (Nachweis adäquater Kenntnisse der englischen Sprache) genannten Unterlagen für das Wintersemester bis zum 31. Mai zu stellen. Nach Nr. 2.3.5 ist dem Antrag ein in englischer Sprache abgefasstes Essay von mindestens 1.500 und maximal 2.000 Wörtern beizufügen; es können ein oder mehrere Themen zur Wahl gestellt werden, welche den Bewerbern für das Wintersemester bis zum 1. April bekannt zu geben sind. Weiter ist eine Versicherung beizufügen, dass das Essay selbständig und ohne fremde Hilfe und unter Einhaltung der Richtlinien zur Sicherung guter wissenschaftlicher Praxis und für den Umgang mit wissenschaftlichen Fehlverhalten an der T. U. M. angefertigt wurde und die aus fremden Quellen übernommenen Gedanken als solche gekennzeichnet sind (Nr. 2.3.6 der Anlage 2 zur FPSO). Zur Feststellung, ob die Regeln guter wissenschaftlicher Praxis eingehalten wurden, wird das Essay mit einer speziellen Plagiatssoftware überprüft (Nr. 4.1 Satz 2 der Anlage 2 zur FPSO). Bei Erfüllen der Voraussetzungen nach Nr. 4.1 wird der Bewerber im Eignungsverfahren geprüft, andernfalls ergeht ein Ablehnungsbescheid (Nr. 4.2 Satz 1, 2 der Anlage 2 zur FPSO). Kommt die Auswahlkommission zu dem Ergebnis, dass die Regeln guter wissenschaftlicher Praxis erheblich verletzt wurden, wird der Bewerber durch Ablehnungsbescheid vom laufenden Bewerbungsverfahren ausgeschlossen (Nr. 4.2 Satz 3, 4 der Anlage 2 zur FPSO).

Bewerber, die in der ersten Stufe der Durchführung des Eignungsverfahrens aufgrund von fachlicher Qualifikation, Abschlussnote und GMAT-Score (und damit ohne Berücksichtigung des Essays) mindestens 51 Punkte erreicht hat, erhalten eine Bestätigung über das bestandene Eignungsverfahren (Nr. 5.1.3 der Anlage 2 zur FPSO). Bei Bewerbern, die weniger als 51 Punkte, jedoch mindestens 45 Punkte erreicht haben, wird als zweite Stufe das Essay evaluiert (Nr. 5.2.1 i.V.m. 5.1.4 der Anlage 2 zur FPSO).

a) Es begegnet voraussichtlich keinen rechtlichen Bedenken, dass für alle Bewerber die Zulassung zum Eignungsverfahren davon abhängig gemacht wird, dass das Essay als eine der in Nr. 2.2 genannten Unterlagen unter Einhaltung der Regeln guter wissenschaftlicher Praxis vorliegt.

Es obliegt der Hochschule, gemäß Art. 90 Abs. 1 Satz 2 BayHIG das Qualifikationsprofil eines Masterstudiengangs anhand der speziellen fachlichen Anforderungen des jeweiligen Masterstudiengangs zu definieren (vgl. zur Vorgängervorschrift in Art. 43 Abs. 5 BayHSchG Leiher in v.Coelln/Lindner, Hochschulrecht Bayern, Art. 43 BayHSchG Rn. 19). Vor dem Hintergrund, dass der streitgegenständliche Masterstudiengang mit einer Masterarbeit abschließt und zusätzlich nach Anlage 1 Nr. II. der FPSO in erheblichem Umfang wissenschaftliche Ausarbeitungen als Prüfungsform vorgesehen sind, begegnet es in Hinblick auf die wissenschaftlichen Anforderungen des Masterstudiums keinen rechtlichen Bedenken, dass der Zugang zum Studium für alle Bewerber – unabhängig davon, ob es zur zweiten Stufe der Durchführung des Eignungsverfahrens und zur inhaltlichen Evaluierung des Essays kommt – davon abhängig gemacht wird, dass das abgefasste Essay die Regeln guter wissenschaftlicher Praxis einhält. Das von den Bewerbern Geforderte ist mit dem Verweis auf die „Regeln guter wissenschaftlicher Praxis“ hinreichend klar bezeichnet. Die Gültigkeit allgemein anerkannter Grundsätze wissenschaftlicher Mindeststandards ist unbestritten und die im Einzelnen hieraus abzuleitenden Gebote werden seit langem durch annähernd alle Einrichtungen wissenschaftlicher Selbstverwaltung in Richtlinien oder Empfehlungen konkretisiert und ausgeformt (VGH BW, B.v. 14.9.2011 – 9 S 2667/10 – juris Rn. 31); die TUM hat hierzu „Richtlinien zur Sicherung guter wissenschaftlicher Praxis und für den Umgang mit wissenschaftlichem Fehlverhalten an der T. U. M.“ erlassen. Von einer fehlenden Erkennbarkeit der Handlungspflichten kann jedenfalls im Kernbereich und hinsichtlich der hier in Rede stehenden Vorwürfe nicht die Rede sein. Angesichts der eminenten Bedeutung von Grundsätzen wissenschaftlicher Mindeststandards ist die Beachtung der daraus sich ergebenden Pflichten den Bewerbern auch bei Berücksichtigung der beschränkten Bearbeitungszeit für das Essay zumutbar, zumal für das Essay ohnehin nur ein Ausschnitt der wissenschaftlichen Pflichten von Bedeutung sein dürfte.

b) Die Voraussetzungen für einen Ausschluss vom laufenden Bewerbungsverfahren nach Nr. 4.2 Satz 3 der Anlage 2 zur FPSO sind voraussichtlich gegeben; eine erhebliche Verletzung der Regeln guter wissenschaftlicher Praxis liegt voraussichtlich vor.

aa) Der Einwand des Antragstellers, er sei zum Täuschungsversuch nicht ordnungsgemäß angehört worden, bleibt ohne Erfolg. Der Antragsteller begehrt in der Hauptsache im Rahmen einer Verpflichtungsklage den Zugang zum begehrten Masterstudium; maßgeblich hierfür ist allein, ob der Antragsteller einen entsprechenden Anspruch hat. Der Antrag nach § 123 VwGO kann nur Erfolg haben, wenn der Antragsteller einen Anordnungsanspruch glaubhaft machen kann. Über diesen hat das Gericht ohne Rücksicht auf Mängel des Verwaltungsverfahrens zu entscheiden (BayVGH, B.v. 4.6.2020 – 7 CE 20.406BeckRS 2020, 14715 Rn. 31). Ungeachtet dessen ist ein Anhörungsmangel heilbar (Art. 45 Abs. 1 Nr. 3 BayVwVfG).

bb) Die Beweislast für eine erhebliche Regelverletzung liegt bei der TUM als Prüfungsbehörde. Der Nachweis sowohl der objektiven als auch der subjektiven Voraussetzungen einer Täuschungshandlung ist über die Regeln des Anscheinsbeweises möglich (OVG NW, B.v. 16.2.2021 – 6 B 1868/20 – juris Rn. 8); dies lässt sich auf die hier maßgebliche Frage einer erheblichen Pflichtverletzung übertragen. Für die Anwendung des Beweises des ersten Anscheins müssen zwei Voraussetzungen erfüllt sein: Zum einen muss die nachzuweisende Tatsache auf einen typischen Sachverhalt gestützt werden können, der aufgrund allgemeinen Erfahrungswissens zu dem Schluss berechtigt, dass die Tatsache vorliegt. Zum anderen dürfen keine tatsächlichen Umstände gegeben sein, die ein atypisches Geschehen im Einzelfall ernsthaft möglich erscheinen lassen (BVerwG, B.v. 23.1.2018 – 6 B 67/17 – juris Rn. 6 m.w.N.). Hierzu genügt nicht schon der Hinweis auf einen möglichen anderen typischen Geschehensablauf. Vielmehr muss der Prüfungsteilnehmer auch dartun, dass dieser andere Geschehensablauf ernsthaft in Betracht kommt (BayVGH, B.v. 9.10.2013 – 7 ZB 13.1402 – juris Rn. 10; OVG NW, B.v. 11.10.2011 – 14 A 2726/09 – juris Rn. 5).

Die hier inmitten stehende und vom Antragsgegner nachzuweisende Regelverletzung besteht darin, das eingereichte Essay entgegen der vom Antragsteller abgegebenen Erklärung vom … Mai 2023 ganz oder in Teilen nicht selbst erstellt, sondern eine selbständige Leistung nur vorgespiegelt zu haben, während in Wahrheit unerlaubte Hilfe bei Abfassung des Essays in Anspruch genommen wurde. Aus dem Gebot der persönlich zu erbringenden Leistung und dem Zweck einer Prüfung, die wahren Leistungen und Fähigkeiten zu ermitteln, folgt, dass vorgetäuschte oder sonst erschlichene Leistungen nicht dazu beitragen können, den Prüfungserfolg zu rechtfertigen (Jeremias in Fischer/Jeremias/Dieterich, Prüfungsrecht, 8. Auf. 2022 Rn. 228). Auf die Frage, ob und inwieweit von Nr. 4.2 Satz 3 der Anlage 2 zur FPSO auch fahrlässig begangene erhebliche Pflichtverletzungen umfasst sind, dürfte es nicht ankommen, da vorliegend eine fahrlässige Regelverletzung nicht vorstellbar ist.

(1) Dass das vom Antragsteller abgegebene Essay sich über seinen gesamten Umfang auffällig von denen der anderen Bachelorabsolventen und von dem von ihm im Vorjahr abgegebenen Essay unterscheidet und zugleich Merkmale aufweist, die für durch künstliche Intelligenz erstellte Texte typisch sind, lässt nach allgemeinem Erfahrungswissen darauf schließen, dass das Essay mit unerlaubter Hilfe erstellt wurde.

Durch den vom Antragsgegner selbst mittels ChatGPT erstellten Text (Bl. 30 d.A.) ist hinreichend dargetan, dass für Bewerber zugängliche Programme künstlicher Intelligenz grundsätzlich in der Lage sind, dem Essay vergleichbare Texte zu produzieren.

Auf die Frage, wie aussagekräftig die Herstellerangaben (https://www.t…com/products/features/…) zur Verlässlichkeit der Überprüfungssoftware sind und ob bei der genannten „false positive rate“ auf Ebene von Sätzen und des Gesamttextes von einer hinreichenden Verlässlichkeit ausgegangen werden kann, kommt es vorliegend nicht an. Der Antragsgegner stützt die Annahme eines erheblichen Regelverstoßes auf die Prüfung und Beurteilung des Essays durch Prof. S. und Dr. M. und behandelt das Prüfungsergebnis der Überprüfungssoftware T. lediglich als Indiz, das zu einer Überprüfung durch Prof. S. und Dr. M. Anlass gab. Gleiches gilt für Prof. S. selbst, der zwar in seinen Stellungnahmen vom 28. September und 6. November 2023 die Funktionsweise der Software erläutert und zu deren Verlässlichkeit Stellung nimmt, jedoch, ausdrücklich unter Verweis darauf, dass eine vollkommene Verlässlichkeit der Software nicht gegeben sei, eine von der Software unabhängige eigene Prüfung des Essays zusammen mit Dr. M. durchgeführt hat.

Nach der Stellungnahme von Prof. S. vom 28. September 2023 fällt das vom Antragsteller eingereichte Essay im Vergleich zu den Essays anderer Bewerber durch die sehr stark strukturierte Form auf; erfahrungsgemäß wiesen längere schriftliche Arbeiten von Studierenden selbst bei intensiver Betreuung gewisse Brüche in Struktur und Logik auf. Ferner steche die Kürze und Inhaltsdichte der Sätze und Abschnitte des Antragstellers ins Auge; im Vergleich zu den Essays nahezu sämtlicher weiterer Bewerber sei die Arbeit des Antragstellers deutlich kürzer, enthalte jedoch alle relevanten Aspekte. In der Regel neigten Bachelorabsolventen zur Nutzung verschachtelter Sätze und zur Überlänge; selbst erfahrenen Wissenschaftlern bereite es mitunter Mühe, Forschungsartikel in der gegebenen Kürze abzufassen. Die wesentliche Stärke von Programmen der künstlichen Intelligenz liege darin, Inhalte komprimiert darzustellen. Schließlich sei die Arbeit des Antragstellers in geschliffenem Englisch und frei von Rechtschreib- und Zeichensetzungsfehlern abgefasst, was nicht den bisherigen Erfahrungen der Prüfer entspreche. Die Prüfer verweisen damit auf Auffälligkeiten in Bezug auf Struktur, inhaltliche Dichte und Fehlerfreiheit bei Wortwahl, Rechtschreibung und Zeichensetzung. Dem Vergleich lagen die Arbeiten anderer Bewerber der laufenden Bewerbungsrunde und darüber hinaus die allgemeinen Erfahrungen der Prüfer zu den Fähigkeiten von Bachelorabsolventen bei der Abfassung von Texten zugrunde. Angesichts dieses breiten Vergleichsspektrums lassen sich die Auffälligkeiten nicht allein mit der Spannbreite der gezeigten Leistungen der Bewerber und einer in diesem Rahmen am oberen Rand liegenden Leistung des Antragstellers erklären. Ins Gewicht fällt, dass Prof. S. im Hinblick auf die auffällige Prägnanz des Essays des Antragstellers sogar die Texte erfahrener Wissenschaftler zum Vergleich heranzieht.

Diese festgestellten Auffälligkeiten in Gestalt einer besonderen Qualität des Textes korrespondieren nach den Erfahrungen der Prüfer genau mit den Stärken von durch künstliche Intelligenz erstellten Texten, nämlich Inhalte derart kompakt darzustellen.

Weiter unterscheidet sich das vom Antragsteller am 30. Mai 2023 vorgelegte Essay augenfällig von dem von ihm im Vorjahr vorgelegten Essay. Anders als im streitgegenständlichen Essay ist im letztjährigem Essay der Wortschatz deutlich einfacher. Es finden sich eine Reihe von Wiederholungen einzelner Wörter oder Wendungen und trotz des deutlich geringeren Umfangs auch inhaltliche Wiederholungen.

Soweit der Antragsteller vortragen lässt, ihm werde im Wesentlichen vorgeworfen, dass der streitgegenständliche Essay zu gut gelungen sei, geht er auf die von Prof. S. im Einzelnen bezeichneten Auffälligkeiten nicht ein. Auch mit dem weiteren Einwand, die Kommission stelle lediglich Vermutungen auf, bleibe jedoch Beweise schuldig, setzt sich der Antragsteller nicht damit auseinander, dass Prof. S. eine Reihe von Auffälligkeiten im Vergleich zu Arbeiten anderer Bachelorabsolventen konkret benennt und hierfür auch die notwendige Sachkunde besitzt. Nach der Stellungnahme vom 28. September 2023 sind Prof. S. und Dr. M. als Prüfer erfahren in der Bewertung studentischer Arbeiten verschiedener Form und konnten zudem vergleichend die Essays weiterer Bewerber heranziehen. Darüber hinaus sind sie nicht nur vertraut mit einer Vielzahl von gerade durch Bachelorabsolventen verfassten Texten, sondern aufgrund ihrer Tätigkeit als Prüfer gerade auch dazu berufen, diese nach Struktur, Inhalt und Form zu analysieren und zu bewerten. Vor diesem Hintergrund verfügen sie über hinreichende Sachkunde, Auffälligkeiten festzustellen, die sich nicht allein durch unterschiedliches Leistungsvermögen von Bachelorabsolventen erklären lassen. Prof. S. macht in seiner Stellungnahme auch deutlich, dass er die Auffälligkeiten gerade auch unter Berücksichtigung der unterschiedlichen Qualität von Leistungen durch Bachelorabsolventen feststellt, wenn er darauf verweist, dass längere Arbeiten Studierender „selbst bei intensiver Betreuung“ gewisse Brüche in Struktur und Logik aufwiesen, die bei dem streitgegenständlichen Essay fehlten. Weiter sind die Prüfer als Wissenschaftler erfahren mit dem Lesen und Verfassen wissenschaftlicher Texte und damit auch vertraut mit den Schwierigkeiten der prägnanten Formulierung komplexer Sachverhalte. Ihrer Beobachtung, dass das Essay ein außergewöhnliches Maß an Inhaltsdichte aufweise, das selbst für erfahrene Wissenschaftler nicht ohne weiteres erreichbar ist, kommt daher Gewicht zu.

Soweit der Antragsteller geltend macht, lediglich 45% des Textes seien durch die Überprüfungssoftware markiert, es fielen jedoch keinerlei sprachlichen oder inhaltlichen Unterschiede zwischen markierten und nichtmarkierten Textstellen auf, so ergibt sich nichts Anderes. Der Täuschungsvorwurf ist auf die Feststellungen von Prof. S. und Dr. M. gestützt, die sich auf den gesamten Text beziehen, und nicht auf das Überprüfungsergebnis der Plagiatssoftware. Das Ergebnis der Softwareüberprüfung wirft auch keine Zweifel an den Feststellungen von Prof. S. und Dr. M. und deren Schlussfolgerungen auf. Denn wie in der Stellungnahme von Prof. S. vom 6. November 2023 dargelegt, verweist der Hersteller der Überprüfungssoftware darauf, dass zur Sicherstellung der 1%igen Irrtumswahrscheinlichkeit möglicherweise KI-generierter Text nicht als solcher markiert werde. Aus der Tatsache, dass Textpassagen nicht als KI-generiert gekennzeichnet sind, kann daher auch auf Grundlage der Softwareüberprüfung nicht gefolgert werden, dass sie nicht von künstlicher Intelligenz verfasst sind.

Der Einwand des Antragstellers, es sei nicht berücksichtigt, dass sämtliche Ausführungen anhand entsprechender Literatur belegt seien, wozu künstliche Intelligenz nicht in der Lage sei, ist unbehelflich. Nach den vorgelegten Akten und dem Vorbringen der Beteiligten spricht nichts dafür, dass der wesentliche Teil der Essayerstellung in der Recherche von Quellen bestünde und das Formulieren des Essays lediglich ein unbedeutender Teil der Aufgabenstellung wäre. Vor diesem Hintergrund setzt der Vorwurf, das geforderte Essay mit unerlaubter Hilfe erstellt zu haben, nicht voraus, dass gerade auch das Einfügen von Quellen durch unerlaubte Hilfsmittel erfolgt ist; folglich wird dieser Vorwurf durch den Vortrag, dass künstliche Intelligenz zum Einfügen von Quellen nicht in der Lage sei, auch nicht in Frage gestellt.

(2) Es sind keine tatsächlichen Umstände ersichtlich, die ein atypisches Geschehen im Einzelfall ernsthaft möglich erscheinen lassen.

Weder aus dem Vortrag des Antragstellers noch sonst sind Gründe dafür ersichtlich, die die bezeichneten Auffälligkeiten in anderer Weise erklären würden. Aus den Bewerbungsunterlagen des Antragstellers ist ersichtlich, dass er sein Bachelorstudium mit der Gesamtnote „sehr gut“ (1,45) abschloss und die Zeit von August bis Dezember 2021 an einer Universität in den Vereinigten Staaten zubrachte. Seine sehr guten Studienleistungen und sein fünfmonatiger Aufenthalt an einer Hochschule im englischsprachigen Ausland ließen zwar ein Essay am oberen Rand des Leistungsspektrums möglich erscheinen. Sehr gute Studienleistungen im Bachelorstudium allein erklären jedoch nicht die nach Einschätzung der Prüfer für Absolventen des grundständigen Studiums außerordentliche Strukturiertheit, Wortwahl und Inhaltsdichte des Essays. Zur Erklärung hierfür trägt der Antragsteller auch nach Akteneinsicht nichts vor; anderweitige Anhaltspunkte für eine Erklärung, wie etwa eine ausgeprägte wissenschaftliche Tätigkeit oder sonstige besondere Erfahrung in der Formulierung wissenschaftlicher Texte, sind nicht ersichtlich. Auch was die Abfassung in geschliffenem Englisch angeht, bietet allein ein fünfmonatiger Studienaufenthalt des Antragstellers an der University of … hierfür allein noch keine schlüssige Erklärung. Zu berücksichtigen ist, dass vorliegend nach den Zugangsvoraussetzungen zum Masterstudium adäquate Kenntnisse der englischen Sprache gefordert sind; Bewerbungen Studierender, die im Bachelorstudium an englischsprachigen Lehrveranstaltungen teilgenommen oder Auslandssemester absolviert haben, dürften daher nicht ungewöhnlich sein. Eine Erklärung dafür, wie es dem Antragsteller möglich war, ein Essay zu verfassen, das nach Einschätzung der Prüfer aus einem solchen Bewerberfeld herausstach, ist weder aus dem Vortrag des Antragstellers noch sonst ersichtlich.

Darüber hinaus ist keine Erklärung dafür vorgetragen oder sonst ersichtlich, warum das streitgegenständliche Essay in seiner Qualität sich so grundlegend von dem im Mai 2022 durch den Antragsteller abgegebenen Essay unterscheidet.

Nach den Regeln des Anscheinsbeweises ist daher voraussichtlich davon auszugehen, dass das eingereichte Essay entgegen der vom Antragsteller abgegebenen Erklärung vom … Mai 2023 ganz oder in Teilen nicht selbst erstellt wurde.

Die Frage, ob und in welchem Ausmaß der Antragsteller den durch künstliche Intelligenz erstellten Text noch selbst ergänzt oder geändert hat, kann vorliegend offen bleiben. Denn die Frage der Abgrenzung von wissenschaftlicher Nachlässigkeit gegenüber einem Täuschungsversuch stellt sich nicht, wenn unerlaubte Hilfe bei der Erstellung des Textes herangezogen wird. Selbst wenn der Antragsteller Zitate oder Textteile ergänzt oder umformuliert hätte, würde dies nichts daran ändern, dass die von ihm gezeigte Leistung sich grundlegend von der Leistung eines Bewerbers unterscheidet, der entsprechend Nr. 2.3.5 der Anlage 2 zur FPSO selbständig ein Essay allein mit Hilfe von Literatur verfasst hat. Die Zuhilfenahme künstlicher Intelligenz bei der Erstellung von Texten ähnelt der Erstellung einer Prüfungsarbeit durch eine dritte Person oder der Einreichung einer durch einen anderen Prüfling zu einem früheren Prüfungstermin bereits erstellten Arbeit unter Paraphrasierung des Inhalts.

cc) Eine erhebliche Verletzung der Regeln guter wissenschaftlicher Praxis, die nach Nr. 4.1 Satz 2 der Anlage 2 zur FPSO den Ausschluss vom laufenden Bewerbungsverfahren zur Folge hat, liegt damit voraussichtlich vor. Ein Anspruch auf Zulassung zum Eignungsverfahren besteht daher voraussichtlich nicht.


Den Volltext der Entscheidung finden Sie hier:

EU-Parlament und EU-Rat: Entwurf Artificial Intelligence Act - Proposal for a regulation of the European Parliament and of the Council on harmonised rules on Artificial Intelligence

EU-Parlament und EU-Rat haben einen Entwurf des Artificial Intelligence Act vorgelegt.

Aus dem Entwurf:
Gründe und Ziele des Vorschlags

Diese Begründung ist dem Vorschlag für eine Verordnung beigefügt, mit der harmonisierte Vorschriften für künstliche Intelligenz festgelegt werden (Gesetz über künstliche Intelligenz). Künstliche Intelligenz (KI) bezeichnet eine Reihe von Technologien, die sich rasant entwickeln und einen vielfältigen Nutzen für Wirtschaft und Gesellschaft über das gesamte Spektrum industrieller und gesellschaftlicher Aktivitäten hinweg hervorbringen können. Der Einsatz künstlicher Intelligenz zur Verbesserung von Prognosen, zur Optimierung von Abläufen und der Ressourcenzuweisung sowie zur Personalisierung der Diensteerbringung kann für die Gesellschaft und die Umwelt von Nutzen sein und Unternehmen sowie der europäischen Wirtschaft Wettbewerbsvorteile verschaffen. Bedarf besteht insbesondere in Sektoren, von denen eine große Wirkung ausgeht, wie Klimaschutz, Umwelt und Gesundheit, öffentlicher Sektor, Finanzen, Mobilität, Inneres und Landwirtschaft. Dieselben Faktoren und Techniken, die für den sozioökonomischen Nutzen der KI sorgen, können aber auch neue Risiken oder Nachteile für den Einzelnen oder die Gesellschaft hervorbringen. Vor dem Hintergrund des rasanten technologischen Wandels und möglicher Herausforderungen ist die EU entschlossen, einen ausgewogenen Ansatz zu erreichen. Es liegt im Interesse der Union, die technische Führungsrolle der EU auszubauen und dafür zu sorgen, dass die Europäerinnen und Europäer von den im Einklang mit den Werten, Grundrechten und Prinzipien der Union entwickelten und funktionierenden neuen Technologien profitieren können.

Dieser Vorschlag geht auf das politische Engagement von Präsidentin von der Leyen zurück, die in ihren politischen Leitlinien für die Kommission (2019-2024) – „Eine Union, die mehr erreichen will“ 1 – ankündigte, dass die Kommission einen Legislativvorschlag für ein koordiniertes europäisches Konzept für die menschlichen und ethischen Aspekte der KI vorlegen wird. Im Nachgang zu dieser Ankündigung veröffentlichte die Kommission am 19. Februar 2020 ihr Weißbuch zur KI – Ein europäisches Konzept für Exzellenz und Vertrauen 2 . In dem Weißbuch legt sie die politischen Optionen dar, wie die Nutzung von KI gefördert und gleichzeitig die mit bestimmten Anwendungen dieser Technologie verbundenen Risiken eingedämmt werden können. Dieser Vorschlag zielt darauf ab, einen Rechtsrahmen für eine vertrauenswürdige KI zu schaffen, damit das zweite Ziel für den Aufbau eines Ökosystems für Vertrauen umgesetzt werden kann. Der Vorschlag beruht auf den Werten und Grundrechten der EU und will erreichen, dass Privatpersonen und andere Nutzer KI-gestützten Lösungen vertrauen und gleichzeitig Unternehmen Anreize erhalten, diese zu entwickeln. KI sollte ein Instrument sein, das als positive Kraft für die Gesellschaft im Dienst der Menschen steht und das letztlich zu einem größeren Wohlbefinden der Menschen beiträgt. Vorschriften für KI, die auf dem Unionsmarkt verfügbar ist oder anderweitig Menschen in der Union beeinflusst, sollten daher auf den Menschen ausgerichtet sein, damit Menschen darauf vertrauen können, dass die Technik sicher angewandt wird und den Gesetzen, auch den Grundrechten, genügt. Nach Veröffentlichung des Weißbuchs leitete die Kommission eine breit angelegte Konsultation der Interessenträger ein, die reges Interesse zeigten und sich in großer Zahl beteiligten und die weitestgehend regulatorische Maßnahmen zur Bewältigung der Herausforderungen und Bedenken, die der zunehmende Einsatz von KI mit sich bringt, befürworteten.

Der Vorschlag ist zudem eine Reaktion auf die vom Europäischen Parlament und dem Europäischen Rat ausdrücklich und wiederholt erhobenen Forderungen nach legislativen Maßnahmen zur Gewährleistung eines reibungslos funktionierenden Binnenmarkts für Systeme der künstlichen Intelligenz (KI-Systeme), mit denen sowohl der Nutzen als auch die Risiken der KI auf Unionsebene angemessen geregelt werden. Er unterstützt das vom Europäischen Rat 3 formulierte Ziel der Union, bei der Entwicklung einer sicheren, vertrauenswürdigen und ethisch vertretbaren künstlichen Intelligenz weltweit eine Führungsrolle einzunehmen, und sorgt für den vom Europäischen Parlament 4 ausdrücklich geforderten Schutz von Ethikgrundsätzen.

2017 forderte der Europäische Rat „ein Bewusstsein für die Dringlichkeit der Auseinandersetzung mit neuen Trends“, auch für „Themen wie künstliche Intelligenz....“, „wobei zugleich ein hohes Niveau in Bezug auf Datenschutz, digitale Rechte und ethische Standards gewahrt werden muss“ 5 . In seinen Schlussfolgerungen von 2019 zu dem koordinierten Plan für künstliche Intelligenz „Made in Europe“ 6 betont der Rat ferner, wie wichtig es ist, die uneingeschränkte Achtung der Rechte der europäischen Bürgerinnen und Bürger zu gewährleisten, und ruft dazu auf, die maßgeblichen geltenden Rechtsvorschriften zu überprüfen, um sicherzustellen, dass sie im Hinblick auf die neuen Chancen und Herausforderungen, die sich durch künstliche Intelligenz ergeben, zweckdienlich sind. Der Europäische Rat forderte zudem eine klare Festlegung von KI-Anwendungen, die als hochriskant eingestuft werden sollten 7 .

In seinen jüngsten Schlussfolgerungen vom 21. Oktober 2020 forderte der Rat zudem, dass Probleme wie Undurchsichtigkeit, Komplexität, der sogenannte „Bias“, ein gewisses Maß an Unberechenbarkeit und teilweise autonomes Verhalten einiger KI-Systeme angegangen werden müssen, um deren Vereinbarkeit mit den Grundrechten sicherzustellen und die Durchsetzung der Rechtsvorschriften zu erleichtern 8 .

Auch das Europäische Parlament hat sich intensiv mit dem Thema der KI befasst. Im Oktober 2020 nahm es eine Reihe von Entschließungen zur KI an, u. a. zur Ethik 9 , zivilrechtlichen Haftung 10 und zum Urheberrecht 11 . 2021 folgten weitere Entschließungen zur KI im Strafrecht 12 sowie in der Bildung, der Kultur und im audiovisuellen Bereich 13 . In seiner Entschließung zu dem Rahmen für die ethischen Aspekte von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien empfiehlt das Europäische Parlament der Kommission insbesondere legislative Maßnahmen vorzuschlagen, um so die Chancen und den Nutzen künstlicher Intelligenz auszuschöpfen, aber auch dafür zu sorgen, dass Ethik-Grundsätze geschützt werden. Die Entschließung enthält den Legislativvorschlag für eine Verordnung über Ethik-Grundsätze für die Entwicklung, den Einsatz und die Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien im Wortlaut. Dieser Vorschlag berücksichtigt die vorstehende Entschließung des Europäischen Parlaments unter uneingeschränkter Wahrung der Grundsätze der Verhältnismäßigkeit, Subsidiarität und besseren Rechtsetzung und steht damit in Einklang mit den von Präsidentin von der Leyen in ihren politischen Leitlinien gemachten politischen Zusagen hinsichtlich der Behandlung der vom Europäischen Parlament angenommenen Entschließungen nach Artikel 225 AEUV.

Vor diesem politischen Hintergrund legt die Kommission ihren Vorschlag für einen Rechtsrahmen zur Künstlichen Intelligenz vor, mit dem konkret die folgenden Ziele angestrebt werden:

·Es muss gewährleistet sein, dass die auf dem Unionsmarkt in Verkehr gebrachten und verwendeten KI-Systeme sicher sind und die bestehenden Grundrechte und die Werte der Union wahren.

·Zur Förderung von Investitionen in KI und innovativen KI muss Rechtssicherheit gewährleistet sein.

·Governance und die wirksame Durchsetzung des geltenden Rechts zur Wahrung der Grundrechte sowie die Sicherheitsanforderungen an KI-Systeme müssen gestärkt werden.

·Die Entwicklung eines Binnenmarkts für rechtskonforme, sichere und vertrauenswürdige KI-Anwendungen muss erleichtert werden und es gilt, eine Marktfragmentierung zu verhindern.

Mit Blick auf diese Ziele enthält dieser Vorschlag einen ausgewogenen horizontalen Regulierungsansatz für KI, der die Verhältnismäßigkeit wahrt und auf die Mindestanforderungen beschränkt ist, die zur Bewältigung der in Verbindung mit KI auftretenden Risiken und Probleme notwendig ist, ohne die technologische Entwicklung übermäßig einzuschränken oder zu behindern oder anderweitig die Kosten für das Inverkehrbringen von KI-Lösungen unverhältnismäßig in die Höhe zu treiben. Der Vorschlag zielt auf einen robusten und flexiblen Rechtsrahmen ab. Einerseits ist der Vorschlag in seinen grundlegenden Regulierungsentscheidungen umfassend und zukunftsorientiert. Dies gilt auch für die von den KI-Systemen zu erfüllenden und auf Grundsätzen beruhenden Anforderungen. Andererseits wird ein Regulierungssystem geschaffen, das die Verhältnismäßigkeit wahrt und auf genau definierte Risiken ausgerichtet ist. Dieser Regulierungsansatz schafft keine unnötigen Handelsbeschränkungen und der Gesetzgeber schreitet nur in solchen konkreten Situationen ein, in denen ein berechtigter Anlass für Bedenken besteht oder in denen vernünftigerweise davon ausgegangen werden kann, dass solche Bedenken in naher Zukunft auftreten werden. Gleichzeitig enthält der Rechtsrahmen Mechanismen, mit denen er flexibel und dynamisch an die technologische Entwicklung und neue bedenkliche Situationen angepasst werden kann.

Der Vorschlag enthält harmonisierte Vorschriften für die Entwicklung, das Inverkehrbringen und die Verwendung von KI-Systemen in der Union, die im Verhältnis zu den Risiken stehen. Die vorgeschlagene Begriffsbestimmung für KI ist zukunftstauglich. Während einige besonders schädliche KI-Praktiken, die gegen die Werte der Union verstoßen, verboten sind, werden für die Zwecke der Strafverfolgung für bestimmte Anwendungen biometrischer Fernidentifizierungssysteme konkrete Beschränkungen und Sicherheitsmaßnahmen vorgeschlagen. Der Vorschlag enthält eine solide Risiko-Methodik zur Einstufung von Hochrisiko-KI-Systemen, d. h. solchen Systemen, die erhebliche Risiken für die Gesundheit und Sicherheit oder die Grundrechte von Personen bergen. Solche KI-Systeme müssen horizontalen Auflagen für vertrauenswürdige KI genügen und Konformitätsbewertungsverfahren unterzogen werden, bevor sie in der Union in Verkehr gebracht werden dürfen. Damit die Sicherheit und die Einhaltung bestehender Rechtsvorschriften zum Schutz der Grundrechte über den gesamten Lebenszyklus von KI-Systemen hinweg gewahrt bleiben, werden Anbietern und Nutzern dieser Systeme berechenbare, verhältnismäßige und klare Pflichten auferlegt. Für einige KI-Systeme werden nur minimale Transparenzpflichten vorgeschlagen, insbesondere für den Einsatz von Chatbots oder „Deepfakes“.

Die vorgeschlagenen Vorschriften werden von den Mitgliedstaaten mittels einer Leitungsstruktur durchgesetzt, die auf bereits vorhandenen Strukturen aufbaut, sowie mittels eines Kooperationsmechanismus auf Unionsebene, auf der ein Europäischer Ausschuss für künstliche Intelligenz eingesetzt wird. Zusätzliche Maßnahmen werden zur Unterstützung von Innovation, vor allem in Form von KI-Reallaboren, sowie zur Verringerung des Verwaltungsaufwands und zur Förderung von kleinen und mittleren Unternehmen (KMU) und Startups vorgeschlagen.