☰

Hochrisiko-KI: Welche Pflichten haben Unternehmen bei der Umsetzung der KI-VO?

Die EU-Verordnung zur Regulierung von Künstlicher Intelligenz (KI-VO) stellt Unternehmen vor die zentrale Herausforderung, Hochrisiko-KI-Systeme rechtskonform zu gestalten. Diese Systeme treffen wesentliche Entscheidungen in sensiblen Bereichen und unterliegen daher strengen Vorgaben. Besonders betroffen sind Unternehmensbereiche wie Compliance, IT und Personalwesen. Unternehmen, die Hochrisiko-KI einsetzen wollen, stehen vor einer Vielzahl technischer, organisatorischer und rechtlicher Verpflichtungen. In diesem Beitrag erläutere ich, welche konkreten Pflichten Unternehmen erfüllen müssen, um rechtliche Risiken zu vermeiden und die Integrität ihrer KI-Systeme zu sichern.

Was verlangt die KI-VO von Hochrisiko-Anwendungen?

Die KI-VO stellt klare Anforderungen, die sicherstellen sollen, dass Hochrisiko-KI-Systeme sicher, transparent und fair eingesetzt werden. Dazu gehören:

  • Risikomanagement: Risiken erkennen, bewerten und minimieren.

  • Dokumentation: Umfassende, prüfbare Dokumentation aller Prozesse und technischen Details.

  • Datenqualität: Hochwertige, unvoreingenommene Daten sind Pflicht.

  • Transparenz: Die Funktionsweise und Grenzen der KI müssen für Nutzer nachvollziehbar sein.

  • Nachvollziehbarkeit: Entscheidungen der KI müssen auditierbar sein, ohne diskriminierende Muster aufzuweisen.

  • Sicherheit: Regelmäßige Tests, Schutz vor Cyberangriffen und Notfallpläne sind erforderlich.

  • Überwachung: Systeme müssen kontinuierlich geprüft und Vorfälle gemeldet werden.

  • Registrierung: Hochrisiko-KI-Systeme sind in einer öffentlichen EU-Datenbank zu erfassen (Ausnahmen gelten etwa für Strafverfolgungsbehörden).

Risikomanagement: Das Herzstück der KI-Compliance

Ein systematisches Risikomanagement ist der Kern der Anforderungen für Hochrisiko-KI-Systeme. Es umfasst mehrere zentrale Elemente:

  • Gründliche Risikobewertung: Unternehmen müssen jedes Hochrisiko-KI-System umfassend analysieren. Besonders wichtig ist dies in sicherheitskritischen Bereichen wie Medizin oder Infrastruktur. Die Bewertung muss regelmäßig aktualisiert werden, um neue Risiken zu erkennen – gerade in dynamischen Umfeldern wie der Cybersicherheit.

  • Aktive Risikominderung: Identifizierte Risiken müssen durch technische und organisatorische Maßnahmen minimiert werden. Beispiele sind:

    • Sicherheitsprotokolle,

    • Zugangsbeschränkungen oder

    • redundante Kontrollmechanismen.

  • Kontinuierliche Überwachung: Da viele Hochrisiko-KI-Systeme in Echtzeit arbeiten, ist eine kontinuierliche Überwachung unerlässlich. Mechanismen zur Erkennung von Anomalien oder potenziellen Bedrohungen sollten implementiert werden.

Dokumentation und Transparenz

Die KI-VO verlangt eine lückenlose Dokumentation, die den Betrieb und die Entscheidungen von KI-Systemen nachvollziehbar macht. Unternehmen müssen dabei folgende Punkte beachten:

  • Technische Dokumentation: Algorithmen, verwendete Daten und Funktionsweisen müssen detailliert beschrieben werden.

  • Verantwortlichkeiten: Wer Zugang zum System hat und welche Rollen im Betrieb eine Schlüsselrolle spielen, muss festgehalten werden, um Revisionssicherheit zu gewährleisten.

  • Meldepflichten: Sicherheitsrelevante Vorfälle oder Änderungen an den Systemen sind unverzüglich den zuständigen Behörden zu melden.

Diese Transparenz schafft Vertrauen bei Nutzern und gewährleistet die Einhaltung rechtlicher Anforderungen.

Datenqualität und Cybersicherheit

Hochwertige Daten und robuste Sicherheitsmaßnahmen sind entscheidend für die Integrität von Hochrisiko-KI-Systemen.

  • Datenqualität: Unternehmen müssen sicherstellen, dass ihre KI-Systeme mit hochwertigen, unvoreingenommenen Daten arbeiten. Verzerrungen, wie sie etwa durch historische Diskriminierung entstehen können, sind aktiv zu verhindern.

  • Cybersicherheit: Regelmäßige Tests und Sicherheitsmaßnahmen sind Pflicht, um Hochrisiko-KI-Systeme vor Bedrohungen zu schützen. Dazu gehören:

    • Verschlüsselung und Authentifizierung: Schutz vor unbefugtem Zugriff.

    • Penetrationstests: Aufdeckung von Schwachstellen durch simulierte Angriffe.

    • Protokollierung: Lückenlose Aufzeichnung sicherheitskritischer Ereignisse.

Menschliche Kontrolle und Schulungen

Die KI-VO verlangt, dass Hochrisiko-KI-Systeme jederzeit von Menschen überwacht und gesteuert werden können.

  • Mensch-Maschine-Schnittstellen: Es müssen Mechanismen vorhanden sein, um KI-Entscheidungen nachzuvollziehen und bei Bedarf zu korrigieren. Besonders sensibel ist dies in Bereichen wie biometrischer Identifikation, wo ein „Vier-Augen-Prinzip“ vorgeschrieben ist.

  • Schulungen: Mitarbeitende, die Hochrisiko-KI-Systeme bedienen, müssen gezielt geschult werden. Ziel ist es, Risiken frühzeitig zu erkennen und sicher mit den Anwendungen umzugehen.

Konformitätsbewertung und CE-Kennzeichnung

Bevor Hochrisiko-KI-Systeme in Verkehr gebracht oder betrieben werden dürfen, müssen sie eine Konformitätsbewertung durchlaufen.

  • CE-Kennzeichnung: Die CE-Kennzeichnung bestätigt die Einhaltung der Anforderungen der KI-VO. Bei digital bereitgestellten Systemen muss sie über Schnittstellen oder maschinenlesbare Codes leicht zugänglich sein.

  • Benannte Stellen: Falls erforderlich, wird eine benannte Stelle in das Konformitätsbewertungsverfahren einbezogen. Ihre Kennnummer muss dann neben der CE-Kennzeichnung erscheinen.

Dies gilt nicht nur für das Produkt selbst, sondern auch für Werbematerialien, die auf die Konformität des Systems hinweisen.

Fazit: KI-Compliance als Verpflichtung und Chance

Die Einhaltung der KI-VO erfordert von Unternehmen beim Einsatz von Hochrisiko-KI erhebliche Anstrengungen: technische Schutzmaßnahmen, kontinuierliche Schulungen und umfassende Dokumentationen. Hochrisiko-KI-Systeme müssen kontrollierbar, transparent und sicher sein, um rechtliche und finanzielle Risiken zu minimieren. Die Registrierungspflicht in der EU-Datenbank und die CE-Kennzeichnung zeigen, wie umfassend die Anforderungen der Verordnung sind. Führungskräfte und insbesondere die Geschäftsführung sollten die Zusammenarbeit zwischen Abteilungen fördern und frühzeitig eine KI-Compliance-Strategie entwickeln. Wer die Anforderungen der KI-VO konsequent umsetzt, reduziert nicht nur Risiken, sondern verschafft sich auch einen Wettbewerbsvorteil in einem zunehmend regulierten Markt.