KI-Betreiber müssen qualifizierte Person zur menschlichen Aufsicht gem. Art. 26 Abs. 2 KI-VO beauftragen

Der Art. 26 KI-VO nimmt Betreiber von Hochrisiko-KI-Systemen in die Pflicht, die KI während ihres gesamten Lebenszyklus zu überwachen, damit sie auch unter realen Bedingungen, also in der Anwendungszeit, unter Beobachtung steht. Angesichts der sehr schnellen, dynamischen Produkt-Entwicklungen ist das sinnvoll. (1)

Der Absatz 2 konkretisiert hier die menschliche Überwachungsmaßnahme.

Die KI-Betreiber stehen demnach in der Pflicht, einer natürlichen Person die Aufsicht über hochriskante KI-Systeme zu erteilen. Die Person muss über ausreichend KI-Kompetenz oder eine Ausbildung in dem Bereich sowie die nötigen Befugnisse zum Eingreifen verfügen.

Dieser Ansatz findet sich auch in den sieben Grundsätzen der „Ethikleitlinien für eine vertrauenswürdige KI“, einer davon ist die menschliche Aufsicht. Der Grundsatz besagt, dass KI den Menschen dient, nicht umgekehrt, und dabei immer Menschenwürde und Grundrechte gewahrt sein müssen. Außerdem muss die persönliche Autonomie ständig gewährleistet sein.

Die menschliche Aufsicht im „Live-Modus“ ist so wichtig, weil sie Risiken für Sicherheit und Gesundheit sowie fehlerhafte Anwendungen von Hochrisiko-KI-Systemen minimiert oder verhindert.

Dafür sind die menschlichen Kontrollmechanismen vorgesehen: Die natürliche Person, die der KI-Betreiber mit der menschlichen Aufsicht beauftragt hat, steuert und überprüft hochriskante KI-Systeme aktiv – und hält das System ggf. an, wenn es zu Fehlverhalten kommt. Sie kann auch Anweisungen zur Anwendung anhand einer Betriebsanleitung geben. (2)

(Quellenangaben:
1 Vgl.: BeckOK KI-Recht/Denga KI-VO Art. 26 Rn. 1-7
2 Vgl. ebd. Art. 26 Rn. 30-36)