Hochrisiko-KI: Welche Unternehmensbereiche sind von der KI-VO betroffen?

Mit der „Verordnung zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz“ (KI-VO) strebt die EU eine umfassende Regulierung des KI-Einsatzes an. Besonders im Fokus stehen KI-Systeme, die als „hochriskant“ eingestuft werden – Anwendungen, die tief in sensible Entscheidungsprozesse eingreifen und damit die Grundrechte oder die Sicherheit von Personen betreffen. In diesem Beitrag stelle ich vor, welche Unternehmensbereiche sich besonders auf die neuen Anforderungen einstellen müssen und wie sie davon betroffen sind.

Was gilt als hochriskant?

Laut der KI-VO werden KI-Systeme als hochriskant eingestuft, wenn sie in kritischen Bereichen eingesetzt werden und potenziell gravierende Auswirkungen auf die Rechte und Freiheiten von Personen haben können. Dazu zählen insbesondere:

Biometrische Identifizierung und Überwachung: Systeme zur Gesichtserkennung oder Verhaltensanalyse in Echtzeit.
Infrastrukturen und Sicherheit: KI-Systeme, die kritische Infrastrukturen (z. B. Energie- oder Wasserversorgung) steuern und bei Ausfällen erhebliche Schäden verursachen können.
Bildungs- und Berufsentscheidungen: KI-Systeme, die über Bildungszugang, Prüfungen oder berufliche Eignung entscheiden.
Personalentscheidungen: KI-gestützte Tools für Einstellungsprozesse, Beförderungen oder Mitarbeiterbewertungen.
Zugang zu wesentlichen Dienstleistungen: Systeme zur Kreditwürdigkeitsprüfung oder zur Zuteilung von Sozialleistungen.
Gesundheit und Sicherheit: KI-gestützte Diagnosetools oder Systeme zur Steuerung von Medizinprodukten.

Solche Systeme zeichnen sich durch ein hohes Potenzial für Diskriminierung, Sicherheitsrisiken oder Grundrechtseingriffe aus und unterliegen daher besonderen Anforderungen.

Unternehmensbereiche im Fokus der KI-VO

Die strengen Vorgaben der KI-VO machen eine enge Zusammenarbeit über Abteilungsgrenzen hinweg erforderlich. Besonders betroffen sind:

Compliance: Die Compliance-Abteilung trägt eine zentrale Verantwortung: Sie muss sicherstellen, dass Hochrisiko-KI-Systeme vollständig mit der KI-VO konform sind. Dies umfasst den Aufbau eines systematischen Risikomanagements, die lückenlose Dokumentation aller Prozesse und die Einhaltung umfangreicher Meldepflichten. Durch die hohen Bußgelder bei Verstößen hat der Bereich Compliance eine Schlüsselrolle in der Risikoabsicherung.
IT- und Cybersicherheit: Die technische Umsetzung liegt bei den IT- und Cybersicherheitsteams. Die KI-VO fordert von Unternehmen, Hochrisiko-Systeme durch strenge Sicherheitsvorkehrungen zu schützen, darunter regelmäßige Sicherheitsüberprüfungen und Notfallpläne, um potenzielle Bedrohungen rechtzeitig zu erkennen und abzuwehren.
Datenmanagement und Qualitätssicherung: Hochwertige, unvoreingenommene Daten sind essenziell, da die Ergebnisse der KI maßgeblich von der Qualität der eingespeisten Daten abhängen. Verzerrte Daten können zu diskriminierenden Entscheidungen führen. Beispielsweise könnten historische Bewerbungsdaten Vorurteile gegenüber bestimmten Geschlechtern oder Altersgruppen enthalten – mit schwerwiegenden Folgen für Betroffene und Unternehmen. Daher müssen Datenmanagement und Qualitätssicherung sicherstellen, dass Daten gründlich geprüft, dokumentiert und laufend überwacht werden.
Forschung und Entwicklung (R&D): Unternehmen, die selbst KI-Systeme entwickeln oder anpassen, sind verpflichtet, schon in der Design- und Entwicklungsphase sämtliche regulatorischen Anforderungen der KI-VO zu berücksichtigen. Dazu gehört etwa die Vermeidung algorithmischer Verzerrungen und die Gewährleistung, dass KI-Modelle transparent und nachvollziehbar bleiben.
Personalwesen: KI-Systeme werden zunehmend zur Unterstützung von Einstellungs- und Bewertungsverfahren genutzt. Diese Systeme müssen laut KI-VO besonders strenge Anforderungen an Fairness und Nichtdiskriminierung erfüllen. Die potenziellen Folgen von Verstößen – rechtlich und reputationsbezogen – sind erheblich. Systeme, die über Einstellungen oder Personalentwicklungsmaßnahmen entscheiden, müssen strenge Anforderungen an Fairness und Nichtdiskriminierung erfüllen. Die rechtlichen Konsequenzen für diesen Bereich haben mein Kollege Erkan Elden und ich in einem Blogbeitrag zur KI-VO und zum Personalwesen näher beleuchtet.
Geschäftsführung: Die Geschäftsführung trägt die Gesamtverantwortung für die Einhaltung der KI-VO. Sie muss sicherstellen, dass ausreichend Ressourcen für Schulungen, technische Sicherheitsmaßnahmen und regelmäßige Audits bereitstehen, die strategische Ausrichtung des Unternehmens die regulatorischen Anforderungen berücksichtigt und eine effektive Zusammenarbeit zwischen den betroffenen Abteilungen erfolgt. Das Risikomanagement sollte dabei ein tiefes Verständnis für die Haftungsrisiken entwickeln, die Hochrisiko-KI mit sich bringt.

Branchen mit besonderem Risiko

Neben den oben genannten Unternehmensbereichen sind bestimmte Branchen durch die KI-VO besonders betroffen. Sie setzen Hochrisiko-Anwendungen ein, die grundlegende Rechte und die öffentliche Sicherheit beeinflussen. Dazu zählen:

Medizin und Gesundheitswesen: Hier greift KI in medizinische Entscheidungen ein, etwa durch Systeme zur Diagnoseunterstützung. Solche Anwendungen müssen höchsten Sicherheits- und Zuverlässigkeitsanforderungen genügen.
Finanzdienstleistungen: Kreditprüfung und Betrugserkennung mithilfe von KI haben direkten Einfluss auf die finanzielle Situation von Personen und Unternehmen. Die KI-VO stellt daher hohe Anforderungen an Transparenz und Datensicherheit.
Öffentliche Sicherheit und Strafverfolgung: Biometrische Identifizierungssysteme, die in Echtzeit Personen erkennen können, unterliegen strengen Auflagen, da sie in die Privatsphäre eingreifen und gut dokumentiert werden müssen.
Industrie und kritische Infrastrukturen: In Bereichen wie Energie- und Wasserversorgung setzen Unternehmen auf KI-gestützte Überwachungs- und Steuerungssysteme, die vor Cyberangriffen und Systemausfällen geschützt sein müssen.

Fazit: Vorbereitung auf die KI-VO als gemeinschaftliche Aufgabe

Die KI-VO stellt Unternehmen vor enorme Herausforderungen, insbesondere bei Hochrisiko-Anwendungen. Eine enge Zusammenarbeit zwischen den relevanten Fachabteilungen und der Führungsebene ist entscheidend, um die hohen regulatorischen Anforderungen zu erfüllen.

Unternehmen sollten jetzt handeln, indem sie bestehende KI-Systeme auf Hochrisikopotenzial prüfen und eine unternehmensweite Strategie für die KI-Compliance entwickeln. Frühzeitige Vorbereitung minimiert nicht nur rechtliche und finanzielle Risiken, sondern kann Unternehmen auch einen Wettbewerbsvorteil in einem zunehmend regulierten Umfeld verschaffen.

Bisher erschienen:

Dr. Daniel Kögel,
Fachanwalt für Urheber- und Medienrecht
koegel@web-partner.de