Wirksame menschliche Aufsicht: kein bloßes Abnicken

Bei der menschlichen Aufsicht nach der KI-Verordnung geht es nicht darum, dass eine Person einen Bildschirm beobachtet und auf „Genehmigen“ klickt, nachdem das System die Entscheidung bereits getroffen hat. Die Verordnung verlangt, dass die Aufsicht tatsächlich in der Lage ist, die Ausgabe der KI zu übersteuern oder zu stoppen, wenn Risiken für Gesundheit, Sicherheit oder Grundrechte entstehen. Ein medizinisches Diagnosewerkzeug, das einer Ärztin oder einem Arzt lediglich erlaubt, seine Empfehlung zu bestätigen, erfüllt diese Anforderung beispielsweise nicht; die Ärztin oder der Arzt muss die Entscheidung ablehnen oder ändern können, bevor sie wirksam wird.

Um entsprechende Prüfungsfragen zu erkennen, achten Sie auf Formulierungen, die darauf hindeuten, dass die Aufsicht „automatisch“ oder „nachträglich“ erfolgt. Wird in einem Szenario beschrieben, dass ein Mensch eine Entscheidung erst überprüft, nachdem sie umgesetzt wurde, handelt es sich nicht um eine wirksame Aufsicht. Ein weiterer Trick: Denken Sie daran, dass die KI-Verordnung die Aufsicht an das jeweilige Risikoniveau knüpft – Hochrisikosysteme erfordern Maßnahmen wie „Stopptasten“ oder Gestaltungen nach dem Prinzip „Human in the Loop“ und nicht lediglich ein Protokoll für eine spätere Kontrolle. Wenn in einer Antwort von einem „bloßen Abnicken“ die Rede ist, ist sie mit hoher Wahrscheinlichkeit falsch.

Eine kompakte Selbstprüfung lautet: Hätte der Mensch das Ergebnis ändern können, bevor es jemanden betraf? Falls die Antwort nein lautet, ist die Aufsicht nicht wirksam. Behalten Sie diesen Gegensatz im Gedächtnis: Wirksame Aufsicht bedeutet, dass der Mensch tatsächlich befugt ist einzugreifen, und nicht lediglich ein Kästchen abhaken kann.