Verbotene Praktiken nach Art. 5 der KI-Verordnung - Manipulative KI-Systeme - Ausnutzung der Schwächen von Personengruppen - Social Scoring - Biometrische Fernidentifizierung im öffentlichen Raum
Mit Inkrafttreten der Verordnung (EU) 2024/1689 zur Regulierung von Künstlicher Intelligenz (KI-Verordnung) hat die Europäische Union einen neuen regulatorischen Rahmen geschaffen, um die Nutzung von KI-Systemen zu steuern und Risiken für Sicherheit, Gesundheit und Grundrechte zu minimieren. Die Verordnung basiert auf einem risikobasierten Ansatz und enthält klare Vorgaben für den Einsatz von KI-Systemen. Im Mittelpunkt steht dabei die Unterscheidung zwischen verschiedenen Risikokategorien, wobei die gefährlichsten KI-Praktiken vollständig verboten sind.
Artikel 5 der KI-Verordnung benennt abschließend bestimmte verbotene KI-Praktiken. Diese Praktiken gelten als so schwerwiegend, dass ihr Einsatz unabhängig vom Verwendungszweck oder der jeweiligen Branche vollständig untersagt ist. Unternehmen, die solche KI-Systeme entwickeln oder einsetzen, müssen mit erheblichen Sanktionen rechnen. In diesem Beitrag wird detailliert erläutert, wann verbotene KI-Praktiken vorliegen, welche Vorschriften dies regeln und welche rechtlichen Konsequenzen dies für Unternehmen hat.
I. Wann liegen verbotene KI-Praktiken vor?
Die KI-Verordnung unterscheidet in Artikel 5 zwischen verschiedenen KI-Praktiken, die per se verboten sind, da sie gegen fundamentale Rechte und Werte verstoßen oder erhebliche Risiken für die öffentliche Sicherheit darstellen. Diese Praktiken sind abschließend aufgelistet und umfassen folgende Hauptkategorien:
1. Manipulative KI-Systeme
Artikel 5 Abs. 1 lit. a verbietet den Einsatz von KI-Systemen, die durch unterbewusste Techniken das Verhalten von Personen in einer Weise manipulieren, dass dies zu physischen oder psychischen Schäden führt. Ziel dieser Vorschrift ist der Schutz der Autonomie und des freien Willens von Individuen. Manipulative Systeme, die gezielt unterbewusste Techniken nutzen, um Menschen zu bestimmten Handlungen zu verleiten, stellen ein erhebliches Risiko dar.
Beispielsweise könnte ein KI-System, das unbewusst Kaufentscheidungen beeinflusst oder Menschen zu gesundheitsschädlichem Verhalten verleitet, unter diese Kategorie fallen. Ein solches System würde das Risiko mit sich bringen, dass die betroffene Person gegen ihren Willen zu Handlungen gedrängt wird, die ihr schaden.
2. Ausnutzung von Schwächen bestimmter Personengruppen
Nach Artikel 5 Abs. 1 lit. b ist der Einsatz von KI-Systemen verboten, die die besonderen Schwächen bestimmter Personengruppen ausnutzen, wie z. B. Kinder oder Menschen mit Behinderungen. Diese Vorschrift zielt auf den Schutz besonders schutzbedürftiger Gruppen ab, die durch KI-Systeme besonders leicht zu manipulieren oder zu beeinflussen sind.
Ein Beispiel wäre eine KI, die Kinder gezielt dazu verleitet, exzessiv Videospiele zu spielen oder Käufe zu tätigen, indem sie deren mangelnde kognitive Reife oder emotionale Schwächen ausnutzt.
3. KI-Systeme zur sozialen Bewertung (Social Scoring)
Artikel 5 Abs. 1 lit. c verbietet den Einsatz von KI-Systemen durch Behörden zur Bewertung des Verhaltens von Bürgern über einen längeren Zeitraum hinweg und zur Vergabe von sozialen Vorteilen oder Nachteilen (sogenanntes „Social Scoring“). Ein solches System könnte dazu führen, dass Personen aufgrund ihres Verhaltens oder anderer Kriterien in diskriminierender Weise behandelt werden.
Ein bekanntes Beispiel hierfür ist das Social Credit System, das in einigen Staaten zur Bewertung des Verhaltens von Bürgern eingesetzt wird. Dieses Vorgehen birgt das Risiko, dass soziale, wirtschaftliche oder rechtliche Entscheidungen auf Grundlage ungenauer oder unverhältnismäßiger Bewertungen getroffen werden.
4. Biometrische Fernidentifizierung im öffentlichen Raum
Artikel 5 Abs. 1 lit. d der KI-Verordnung untersagt den Einsatz von KI-Systemen zur biometrischen Fernidentifizierung in Echtzeit in öffentlichen Räumen, es sei denn, sie sind ausdrücklich durch das Recht der Union oder der Mitgliedstaaten erlaubt. Derartige Systeme, wie beispielsweise Gesichtserkennungstechnologien, können eine massive Überwachung ermöglichen und das Recht auf Privatsphäre erheblich einschränken.
Ausnahmen bestehen nur in streng geregelten Fällen, etwa bei der Verhinderung schwerer Straftaten oder zur Terrorismusbekämpfung, und müssen von den zuständigen Behörden genehmigt werden.
II. Rechtliche Konsequenzen für Unternehmen
Für Unternehmen, die verbotene KI-Praktiken anwenden, hat die Nichteinhaltung der Vorschriften schwerwiegende Folgen. Die Verordnung sieht umfassende Sanktionen vor, die insbesondere in Artikel 71 geregelt sind.
1. Bußgelder
Verstöße gegen Artikel 5 der KI-Verordnung können mit erheblichen Bußgeldern geahndet werden. Artikel 71 Abs. 3 legt fest, dass Unternehmen bei Verstößen gegen die Verbotsvorschriften Geldbußen von bis zu 30 Millionen Euro oder 6 % des weltweiten Jahresumsatzes des Unternehmens zu zahlen haben, je nachdem, welcher Betrag höher ist. Diese hohen Bußgelder unterstreichen den Stellenwert der Verordnung und die Schwere von Verstößen.
Diese Sanktionen stehen in ihrer Höhe den Bußgeldern der Datenschutz-Grundverordnung (DSGVO) nahe und verdeutlichen die Entschlossenheit der EU, die Einhaltung der Vorschriften durchzusetzen.
2. Betriebseinstellungen und Vertriebsverbote
Neben Bußgeldern kann die zuständige Aufsichtsbehörde gemäß Artikel 71 Abs. 4 auch andere Sanktionen verhängen, darunter:
Einstellung des Betriebs eines KI-Systems, das gegen die Verbote verstößt,
Rückruf von Produkten, die verbotene KI-Systeme enthalten,
Verbot des Inverkehrbringens oder der Bereitstellung von solchen Systemen auf dem europäischen Markt.
Diese Maßnahmen können für Unternehmen besonders schwerwiegend sein, da sie direkt den Fortbestand des Geschäftsmodells oder den Einsatz von innovativen Technologien betreffen.
3. Haftung für Schäden
Unternehmen, die verbotene KI-Systeme einsetzen, können zudem zivilrechtlich für Schäden haftbar gemacht werden, die durch den Einsatz solcher Systeme verursacht wurden. Dies ergibt sich aus den allgemeinen Haftungsvorschriften im Zivilrecht, aber auch aus der DSGVO, sofern personenbezogene Daten betroffen sind. Geschädigte Personen haben das Recht, auf Schadensersatz zu klagen, insbesondere wenn durch den Einsatz eines verbotenen KI-Systems ihre Grundrechte verletzt wurden.
III. Praktische Herausforderungen für Unternehmen
Die Implementierung der Vorschriften der KI-Verordnung erfordert von Unternehmen erhebliche Anstrengungen. Insbesondere die Einhaltung der Verbote nach Artikel 5 stellt Unternehmen vor praktische Herausforderungen:
1. Risikoabschätzung und Compliance
Unternehmen müssen sicherstellen, dass ihre KI-Systeme im Einklang mit den Verboten stehen. Hierzu sind umfassende Risikomanagement-Systeme erforderlich, die mögliche Risiken von KI-Anwendungen erfassen und geeignete Maßnahmen zur Vermeidung von Verstößen festlegen. Da KI-Systeme oft komplex und schwer durchschaubar sind, müssen Unternehmen sicherstellen, dass sie die Funktionsweise ihrer Systeme genau kennen und regelmäßig überprüfen.
2. Interne Kontrollen und Prüfmechanismen
Ein wichtiger Bestandteil der Compliance-Strategie ist die Implementierung von internen Prüfmechanismen, die sicherstellen, dass verbotene KI-Praktiken nicht unbewusst in die Unternehmensprozesse eingebaut werden. Dies erfordert insbesondere regelmäßige Audits und die Einrichtung von Kontrollinstanzen innerhalb des Unternehmens, etwa durch Ethik- oder Datenschutzbeauftragte, die den Einsatz von KI-Systemen überwachen.
3. Schulung und Sensibilisierung der Mitarbeiter
Da KI-Systeme oft tief in den Unternehmensprozessen verankert sind, ist es notwendig, die Mitarbeiter regelmäßig zu schulen und für die rechtlichen Anforderungen zu sensibilisieren. Dies gilt insbesondere für Entwickler und Anwender von KI-Systemen, die für die Einhaltung der Vorschriften verantwortlich sind.
Fazit
Artikel 5 KI-Verordnung soll sicherstellen, dass besonders gefährliche und ethisch bedenkliche KI-Praktiken vollständig verboten werden. Für Unternehmen ist die Einhaltung dieser Verbote von entscheidender Bedeutung, da Verstöße nicht nur zu erheblichen Bußgeldern, sondern auch zu Betriebsverboten und anderen schwerwiegenden Konsequenzen führen können.
Unternehmen müssen daher umfassende Compliance-Strategien entwickeln, um sicherzustellen, dass ihre KI-Systeme im Einklang mit der Verordnung stehen. Besonders im Hinblick auf die verbotenen Praktiken erfordert dies ein hohes Maß an Transparenz und interne Prüfmechanismen, um die Risiken, die von der Nutzung von KI ausgehen, wirksam zu kontrollieren. Rechtsprechung und Aufsichtspraxis werden zeigen, wie streng die Vorschriften der KI-Verordnung durchgesetzt werden. Ein Blick in die Vergangenheit zeigt, dass sich immer Gerichte und Aufsichtsbehörden finden, welche einen besonder strengen Maßstab bei der Auslegung rechtliche Vorgaben anglegen.
Artikel 5 der KI-Verordnung benennt abschließend bestimmte verbotene KI-Praktiken. Diese Praktiken gelten als so schwerwiegend, dass ihr Einsatz unabhängig vom Verwendungszweck oder der jeweiligen Branche vollständig untersagt ist. Unternehmen, die solche KI-Systeme entwickeln oder einsetzen, müssen mit erheblichen Sanktionen rechnen. In diesem Beitrag wird detailliert erläutert, wann verbotene KI-Praktiken vorliegen, welche Vorschriften dies regeln und welche rechtlichen Konsequenzen dies für Unternehmen hat.
I. Wann liegen verbotene KI-Praktiken vor?
Die KI-Verordnung unterscheidet in Artikel 5 zwischen verschiedenen KI-Praktiken, die per se verboten sind, da sie gegen fundamentale Rechte und Werte verstoßen oder erhebliche Risiken für die öffentliche Sicherheit darstellen. Diese Praktiken sind abschließend aufgelistet und umfassen folgende Hauptkategorien:
1. Manipulative KI-Systeme
Artikel 5 Abs. 1 lit. a verbietet den Einsatz von KI-Systemen, die durch unterbewusste Techniken das Verhalten von Personen in einer Weise manipulieren, dass dies zu physischen oder psychischen Schäden führt. Ziel dieser Vorschrift ist der Schutz der Autonomie und des freien Willens von Individuen. Manipulative Systeme, die gezielt unterbewusste Techniken nutzen, um Menschen zu bestimmten Handlungen zu verleiten, stellen ein erhebliches Risiko dar.
Beispielsweise könnte ein KI-System, das unbewusst Kaufentscheidungen beeinflusst oder Menschen zu gesundheitsschädlichem Verhalten verleitet, unter diese Kategorie fallen. Ein solches System würde das Risiko mit sich bringen, dass die betroffene Person gegen ihren Willen zu Handlungen gedrängt wird, die ihr schaden.
2. Ausnutzung von Schwächen bestimmter Personengruppen
Nach Artikel 5 Abs. 1 lit. b ist der Einsatz von KI-Systemen verboten, die die besonderen Schwächen bestimmter Personengruppen ausnutzen, wie z. B. Kinder oder Menschen mit Behinderungen. Diese Vorschrift zielt auf den Schutz besonders schutzbedürftiger Gruppen ab, die durch KI-Systeme besonders leicht zu manipulieren oder zu beeinflussen sind.
Ein Beispiel wäre eine KI, die Kinder gezielt dazu verleitet, exzessiv Videospiele zu spielen oder Käufe zu tätigen, indem sie deren mangelnde kognitive Reife oder emotionale Schwächen ausnutzt.
3. KI-Systeme zur sozialen Bewertung (Social Scoring)
Artikel 5 Abs. 1 lit. c verbietet den Einsatz von KI-Systemen durch Behörden zur Bewertung des Verhaltens von Bürgern über einen längeren Zeitraum hinweg und zur Vergabe von sozialen Vorteilen oder Nachteilen (sogenanntes „Social Scoring“). Ein solches System könnte dazu führen, dass Personen aufgrund ihres Verhaltens oder anderer Kriterien in diskriminierender Weise behandelt werden.
Ein bekanntes Beispiel hierfür ist das Social Credit System, das in einigen Staaten zur Bewertung des Verhaltens von Bürgern eingesetzt wird. Dieses Vorgehen birgt das Risiko, dass soziale, wirtschaftliche oder rechtliche Entscheidungen auf Grundlage ungenauer oder unverhältnismäßiger Bewertungen getroffen werden.
4. Biometrische Fernidentifizierung im öffentlichen Raum
Artikel 5 Abs. 1 lit. d der KI-Verordnung untersagt den Einsatz von KI-Systemen zur biometrischen Fernidentifizierung in Echtzeit in öffentlichen Räumen, es sei denn, sie sind ausdrücklich durch das Recht der Union oder der Mitgliedstaaten erlaubt. Derartige Systeme, wie beispielsweise Gesichtserkennungstechnologien, können eine massive Überwachung ermöglichen und das Recht auf Privatsphäre erheblich einschränken.
Ausnahmen bestehen nur in streng geregelten Fällen, etwa bei der Verhinderung schwerer Straftaten oder zur Terrorismusbekämpfung, und müssen von den zuständigen Behörden genehmigt werden.
II. Rechtliche Konsequenzen für Unternehmen
Für Unternehmen, die verbotene KI-Praktiken anwenden, hat die Nichteinhaltung der Vorschriften schwerwiegende Folgen. Die Verordnung sieht umfassende Sanktionen vor, die insbesondere in Artikel 71 geregelt sind.
1. Bußgelder
Verstöße gegen Artikel 5 der KI-Verordnung können mit erheblichen Bußgeldern geahndet werden. Artikel 71 Abs. 3 legt fest, dass Unternehmen bei Verstößen gegen die Verbotsvorschriften Geldbußen von bis zu 30 Millionen Euro oder 6 % des weltweiten Jahresumsatzes des Unternehmens zu zahlen haben, je nachdem, welcher Betrag höher ist. Diese hohen Bußgelder unterstreichen den Stellenwert der Verordnung und die Schwere von Verstößen.
Diese Sanktionen stehen in ihrer Höhe den Bußgeldern der Datenschutz-Grundverordnung (DSGVO) nahe und verdeutlichen die Entschlossenheit der EU, die Einhaltung der Vorschriften durchzusetzen.
2. Betriebseinstellungen und Vertriebsverbote
Neben Bußgeldern kann die zuständige Aufsichtsbehörde gemäß Artikel 71 Abs. 4 auch andere Sanktionen verhängen, darunter:
Einstellung des Betriebs eines KI-Systems, das gegen die Verbote verstößt,
Rückruf von Produkten, die verbotene KI-Systeme enthalten,
Verbot des Inverkehrbringens oder der Bereitstellung von solchen Systemen auf dem europäischen Markt.
Diese Maßnahmen können für Unternehmen besonders schwerwiegend sein, da sie direkt den Fortbestand des Geschäftsmodells oder den Einsatz von innovativen Technologien betreffen.
3. Haftung für Schäden
Unternehmen, die verbotene KI-Systeme einsetzen, können zudem zivilrechtlich für Schäden haftbar gemacht werden, die durch den Einsatz solcher Systeme verursacht wurden. Dies ergibt sich aus den allgemeinen Haftungsvorschriften im Zivilrecht, aber auch aus der DSGVO, sofern personenbezogene Daten betroffen sind. Geschädigte Personen haben das Recht, auf Schadensersatz zu klagen, insbesondere wenn durch den Einsatz eines verbotenen KI-Systems ihre Grundrechte verletzt wurden.
III. Praktische Herausforderungen für Unternehmen
Die Implementierung der Vorschriften der KI-Verordnung erfordert von Unternehmen erhebliche Anstrengungen. Insbesondere die Einhaltung der Verbote nach Artikel 5 stellt Unternehmen vor praktische Herausforderungen:
1. Risikoabschätzung und Compliance
Unternehmen müssen sicherstellen, dass ihre KI-Systeme im Einklang mit den Verboten stehen. Hierzu sind umfassende Risikomanagement-Systeme erforderlich, die mögliche Risiken von KI-Anwendungen erfassen und geeignete Maßnahmen zur Vermeidung von Verstößen festlegen. Da KI-Systeme oft komplex und schwer durchschaubar sind, müssen Unternehmen sicherstellen, dass sie die Funktionsweise ihrer Systeme genau kennen und regelmäßig überprüfen.
2. Interne Kontrollen und Prüfmechanismen
Ein wichtiger Bestandteil der Compliance-Strategie ist die Implementierung von internen Prüfmechanismen, die sicherstellen, dass verbotene KI-Praktiken nicht unbewusst in die Unternehmensprozesse eingebaut werden. Dies erfordert insbesondere regelmäßige Audits und die Einrichtung von Kontrollinstanzen innerhalb des Unternehmens, etwa durch Ethik- oder Datenschutzbeauftragte, die den Einsatz von KI-Systemen überwachen.
3. Schulung und Sensibilisierung der Mitarbeiter
Da KI-Systeme oft tief in den Unternehmensprozessen verankert sind, ist es notwendig, die Mitarbeiter regelmäßig zu schulen und für die rechtlichen Anforderungen zu sensibilisieren. Dies gilt insbesondere für Entwickler und Anwender von KI-Systemen, die für die Einhaltung der Vorschriften verantwortlich sind.
Fazit
Artikel 5 KI-Verordnung soll sicherstellen, dass besonders gefährliche und ethisch bedenkliche KI-Praktiken vollständig verboten werden. Für Unternehmen ist die Einhaltung dieser Verbote von entscheidender Bedeutung, da Verstöße nicht nur zu erheblichen Bußgeldern, sondern auch zu Betriebsverboten und anderen schwerwiegenden Konsequenzen führen können.
Unternehmen müssen daher umfassende Compliance-Strategien entwickeln, um sicherzustellen, dass ihre KI-Systeme im Einklang mit der Verordnung stehen. Besonders im Hinblick auf die verbotenen Praktiken erfordert dies ein hohes Maß an Transparenz und interne Prüfmechanismen, um die Risiken, die von der Nutzung von KI ausgehen, wirksam zu kontrollieren. Rechtsprechung und Aufsichtspraxis werden zeigen, wie streng die Vorschriften der KI-Verordnung durchgesetzt werden. Ein Blick in die Vergangenheit zeigt, dass sich immer Gerichte und Aufsichtsbehörden finden, welche einen besonder strengen Maßstab bei der Auslegung rechtliche Vorgaben anglegen.