Hochrisiko-AI: die Prüfung des aufgeführten Sektors
Ein AI-System gilt nur dann als Hochrisikosystem, wenn es in einem aufgeführten sensiblen Sektor – Beschäftigung, Bildung, Strafverfolgung, Migration oder wesentliche Dienstleistungen – oder als Sicherheitsbauteil eingesetzt wird. Ein System, das riskant erscheint, aber nicht in diese Sektoren fällt, ist nach dem AI Act kein Hochrisikosystem.
Diese Seite anhören (Beta)
Der AI Act definiert Hochrisiko-AI danach, wo sie eingesetzt wird, und nicht nur danach, was sie tut. Wird ein AI-System in einem aufgeführten sensiblen Sektor eingesetzt – etwa Beschäftigung (Einstellungssoftware), Bildung (Bewertung von Prüfungen), Strafverfolgung (Gesichtserkennung), Migration (Bearbeitung von Visumanträgen) oder wesentliche Dienstleistungen (Kreditwürdigkeitsprüfung) – oder fungiert es als Sicherheitsbauteil eines Produkts, etwa als Bremssystem in einem Fahrzeug, ist es automatisch ein Hochrisikosystem. Der entscheidende Gegensatz: Eine in einem Krankenhaus eingesetzte AI für medizinische Diagnosen ist ein Hochrisikosystem, weil das Gesundheitswesen ein aufgeführter Sektor ist; dieselbe AI ist bei der Nutzung in einer Fitness-App für das allgemeine Wohlbefinden hingegen kein Hochrisikosystem, selbst wenn sie falsche Ratschläge erteilt.
Um Hochrisikosysteme schnell zu erkennen, merken Sie sich die Eselsbrücke „EELMES“ für die Sektoren: Beschäftigung, Bildung, Strafverfolgung, Migration, wesentliche Dienste und Sicherheitskomponenten. Ein häufiger Trick in Fragen besteht darin, ein System zu beschreiben, das gefährlich wirkt – etwa eine KI, die Kreditausfälle prognostiziert. Gehört es jedoch nicht zu einem aufgeführten Sektor (z. B. wenn es von einem privaten Club für Entscheidungen über Mitgliedschaften eingesetzt wird), gilt es nicht als Hochrisikosystem. Eine weitere Falle: Ein System, das eine Sicherheitskomponente darstellt, etwa eine KI in der Spracherkennung eines Spielzeugs, ist nur dann ein Hochrisikosystem, wenn das Spielzeug selbst nach Produktsicherheitsvorschriften reguliert wird; andernfalls fällt es nicht in den Anwendungsbereich.
Um Ihr Verständnis zu prüfen, fragen Sie sich: „Gehört diese KI zu einer der sechs EELMES-Kategorien?“ Falls ja, handelt es sich um ein Hochrisikosystem; falls nein, handelt es sich nicht darum, unabhängig davon, wie schädlich es erscheinen mag. Merken Sie sich für die Prüfung, dass die Liste der Verordnung abschließend ist – kein Sektor außerhalb dieser sechs Kategorien begründet den Hochrisikostatus. Konzentrieren Sie sich daher darauf, das Szenario der Liste zuzuordnen, und nicht auf Ihr intuitives Risikogefühl.
Was macht ein AI-System gemäß der AI-Verordnung zu einem Hochrisiko-System?
Sein Einsatz in aufgeführten sensiblen Bereichen oder als Sicherheitskomponente, wenn ein erhebliches Risiko einer Beeinträchtigung von Rechten oder Sicherheit besteht.