Hochrisiko-KI im Mittelstand: Recruiting, Bonität und was Sie als Anwender wirklich tun müssen

TL;DR. Der EU AI Act ist für den Mittelstand an den meisten Stellen entspannter, als die Schlagzeilen vermuten lassen — mit einer Ausnahme: der Hochrisiko-Stufe. Wer KI über Bewerbungen oder Kreditwürdigkeit mitentscheiden lässt, ist hier. Das ist anspruchsvoll, aber nicht erdrückend. Die schwerste Last — Risikomanagement, technische Dokumentation, Konformitätsbewertung — trägt der Hersteller des Tools, nicht Sie. Ihre Pflichten als Anwender (Deployer) sind eine überschaubare, operative Liste: das System bestimmungsgemäß nutzen, kompetente menschliche Aufsicht sicherstellen, Eingabedaten kontrollieren, den Betrieb überwachen, Protokolle aufbewahren, Betroffene informieren und aktiv gegen Bias arbeiten. Vieles davon steht bereits, wenn Ihr KI-Governance-Inventar sauber geführt ist. Dieser Text ordnet ein — er ist keine Rechtsberatung.

---

Orientierung, keine Rechtsberatung. Dieser Beitrag macht das Thema handhabbar, er ersetzt aber nicht die Prüfung Ihres konkreten Falls. Gerade bei Hochrisiko-Anwendungen gehört eine Fachjuristin oder ein Fachjurist an den Tisch — besonders bei der Frage, ob Ihr Tool überhaupt unter diese Stufe fällt.

Die eine Stufe, bei der das Recht echte Substanz verlangt

Im Cluster-Opener zu den Risikoklassen, Anbietern und Deployern haben wir die Stufen sortiert und eine davon bewusst nur markiert, nicht ausbuchstabiert: Hochrisiko. Das holen wir hier nach — und zwar ehrlich, ohne Beschwichtigung und ohne Panikmache.

Hier hilft ein Bild, das den ganzen Artikel trägt. Stellen Sie sich ein Hochrisiko-KI-System wie einen Sachverständigen im Gerichtssaal vor. Der Sachverständige sagt aus: schnell, belesen, sicher im Ton. Aber ein Sachverständiger entscheidet niemals den Fall. Er liefert ein Votum — urteilen muss das Gericht. Und ein Gericht, das jede Aussage ungeprüft übernimmt, hat nicht gerichtet; es hat nur durchgewinkt. Genau das ist Ihre Rolle, wenn Sie eine Hochrisiko-KI einsetzen: Die KI sagt aus. Urteilen müssen Sie.

Dass das Recht an dieser Stelle die Schrauben anzieht, ist kein bürokratischer Reflex. Es ist Grundrechtsschutz. Wo eine Maschine darüber mitentscheidet, wer zum Gespräch eingeladen wird oder wer einen Kredit bekommt, steht für einen Menschen viel auf dem Spiel — Arbeit, Wohnung, Teilhabe. Europa hat sich entschieden, an genau diesen Punkten besonders genau hinzuschauen. Das ist kein Misstrauen gegen Technik, sondern die Würde der Person, um die es geht.

Wann sind Sie überhaupt im Hochrisiko-Bereich?

Der AI Act benennt bestimmte Einsatzfelder als hochriskant. Zwei davon treffen den Mittelstand fast unmittelbar: die Auswahl und Bewertung von Personal und die Einschätzung der Kreditwürdigkeit oder Bonität von Privatpersonen.

Entscheidend ist nicht das Etikett der Software, sondern ihre Wirkung auf den Menschen. Hochrisiko ist es typischerweise dann, wenn die KI eine wertende Entscheidung über einen konkreten Menschen trifft oder sie maßgeblich vorbereitet. Konkret:

• Ein Tool, das eingehende Bewerbungen automatisch vorsortiert, rankt oder ausfiltert, bevor ein Mensch sie überhaupt sieht.
• Software, die Bewerber anhand von Lebenslauf, Video-Interview oder Tests bewertet oder ihre Eignung prognostiziert.
• Ein Scoring-System, das die Kreditwürdigkeit einer Privatperson einschätzt und so über Vertrag, Konditionen oder Ablehnung mitentscheidet.

Wann nicht? Wenn die KI reine Hilfs- und Mechaniktätigkeit leistet, ohne in die Bewertung von Personen einzugreifen. Eine Rechtschreibprüfung im Stelleninserat, ein Tool, das eine Stellenanzeige formuliert, ein Terminplaner für Interviews, eine reine Dublettensuche in der Bewerberdatenbank — all das bewertet keinen Menschen. Die Trennlinie verläuft an einer einzigen Frage: Formt oder fällt das System ein Urteil über einen bestimmten Menschen — oder hilft es nur bei der Mechanik drumherum?

Wichtig gegen vorschnelle Panik: Selbst ein System, das in einem der gelisteten Felder arbeitet, kann aus der Hochrisiko-Einstufung wieder herausfallen, wenn es nur eine eng begrenzte, vorbereitende oder rein verfahrenstechnische Aufgabe erfüllt und die eigentliche Entscheidung über den Menschen nicht wesentlich beeinflusst. Die Einstufung hängt also an der echten Wirkung, nicht am bloßen Themenfeld — auch das eine Frage, die im Zweifel eine Fachjuristin sauber beantwortet.

Im Graubereich gilt eine klare Faustregel: lieber einmal zu viel von einer Fachjuristin einordnen lassen als die Einstufung selbst raten. Die Versuchung, sich die eigene Software „leicht zu reden", ist groß — und genau hier teuer.

Die entlastende Nachricht: Die schwerste Last tragen Sie nicht

Jetzt die wichtigste Klarstellung, und sie ist beruhigend. Bleiben wir im Bild: Bevor ein Sachverständiger aussagen darf, muss ihn jemand ausbilden, seine Methode prüfen und ihn zulassen. Diese Vorarbeit ist aufwendig — und sie liegt nicht bei Ihnen.

Im AI Act trägt diese Last der Anbieter, also der Hersteller des Tools. Auf seiner Seite stehen die schweren Pflichten: ein Risikomanagementsystem über den gesamten Lebenszyklus, Daten-Governance bei der Entwicklung, technische Dokumentation, die Konformitätsbewertung samt CE-Logik und die Registrierung des Systems. Wer ein HR- oder Scoring-Tool einkauft, statt es selbst zu bauen — und das ist im Mittelstand der Normalfall — ist Deployer, nicht Anbieter. Die ganze schwere Maschinerie liegt beim Hersteller.

Damit kein Missverständnis entsteht: Aus dem Schneider sind Sie deshalb nicht. Auch das Gericht hat Pflichten, nur eben andere als der Sachverständige. Ihre Aufgabe ist es, das fremde Votum verantwortungsvoll zu würdigen. Und Vorsicht an einer Stelle: Wer ein zugekauftes System wesentlich umbaut, unter eigenem Namen vertreibt oder seinen Zweck verändert, kann selbst zum Anbieter werden — mit allen Anbieterpflichten. Wer es bestimmungsgemäß einsetzt, bleibt Deployer.

Was Sie als Anwender konkret tun müssen

Die Deployer-Pflichten sind ernst, aber sie sind eine Liste — und Listen kann man abarbeiten. Wir halten die Punkte bewusst qualitativ; die genauen Normverweise im Einzelfall zieht eine Fachjuristin.

1. Bestimmungsgemäß einsetzen. Nutzen Sie das System nur für den Zweck und nach der Gebrauchsanleitung des Anbieters. Zweckentfremdung kippt die gesamte Konformität — der Sachverständige war für diese Frage nie bestellt.

1. Menschliche Aufsicht durch *kompetente* Personen. Das ist der Kern, und er entscheidet alles. Aufsicht heißt nicht „jemand klickt OK". Die zuständige Person braucht echte Prüfkompetenz, ausreichend Befugnis und die reale Möglichkeit, das KI-Votum zu hinterfragen, zu übersteuern oder zu verwerfen. Ein Daumen-hoch-Button, der zu hundert Prozent mitläuft, ist keine Aufsicht — das ist ein Gericht, das jede Aussage ungeprüft übernimmt. Wie das menschenwürdig und in der Belegschaft akzeptiert gelingt, vertieft der Beitrag zu Belegschaft und Akzeptanz.

1. Eingabedaten kontrollieren. Soweit Sie die Daten steuern, müssen sie relevant und für den Zweck repräsentativ sein. „Garbage in, garbage out" gilt hier mit Rechtsfolge — beim Scoring von Menschen wird aus einem schlechten Output schnell eine ungerechte Ablehnung.

1. Den Betrieb überwachen und Vorfälle melden. Beobachten Sie den laufenden Einsatz. Bei Anzeichen für ein Risiko setzen Sie die Nutzung aus und informieren Anbieter beziehungsweise zuständige Stelle.

1. Protokolle aufbewahren — soweit sie in Ihrer Kontrolle liegen. Sie sind Ihre Akte: der Nachweis, dass Aufsicht tatsächlich stattgefunden hat.

1. Betroffene Personen informieren. Bewerber und Kreditkunden sollen erfahren, dass ein Hochrisiko-KI-System sie betrifft. Das ist die eigenständige Informationspflicht des AI Act — sie verzahnt sich mit der DSGVO-Auskunft und mit der Transparenz-Schicht der leichteren Stufen, ist mit ihnen aber nicht deckungsgleich; im Zweifel erfüllen Sie beide zusammen in einem klaren Hinweis.

1. Folgen abschätzen. Je nach Konstellation gehört eine Grundrechte- beziehungsweise Datenschutz-Folgenabschätzung dazu — im Zusammenspiel mit der DSGVO, die hier ohnehin parallel greift.

Das wirkt nach viel. Es ist aber, ehrlich gesagt, vor allem Disziplin und Dokumentation — keine neue Abteilung, kein Heer von Spezialisten.

Bias ist das eigentliche Risiko — und es ist greifbar

Warum dieser ganze Aufwand? Weil der gefährlichste Fehler unsichtbar ist. Eine KI lernt aus historischen Daten — und reproduziert deren Vorurteile, statt sie zu korrigieren. Ein Sachverständiger mit stiller Schlagseite ist gefährlicher als einer, der offen Partei ergreift, weil seine Voreingenommenheit als nüchterne Tatsache durchgeht.

Konkret: Ein Recruiting-Tool, das auf den Lebensläufen einer früher überwiegend männlichen Belegschaft trainiert wurde, lernt, so sehe „passend" aus — und stuft Frauen, Ältere oder Menschen mit Lücke im Lebenslauf leise herab, ohne dass je jemand das wollte. Ein Bonitäts-Score, der an Postleitzahl oder Namen hängt, kann ganze Gruppen über die Hintertür benachteiligen. Das Tückische: Das System wirkt objektiv, weil es rechnet.

Pragmatisch gegensteuern heißt: Ergebnisse stichprobenartig nach Gruppen auswerten (sortiert das System bestimmte Gruppen auffällig oft aus?), sensible Merkmale und ihre Stellvertreter aus den Eingaben heraushalten, beim Hersteller nach durchgeführten Bias-Tests fragen — und jede Ablehnung von einem Menschen begründbar machen. „Die KI hat Nein gesagt" ist keine Begründung. Deshalb ist die Pflicht, Daten und Ergebnisse auf systematische Schieflagen zu prüfen, kein Bürokratie-Punkt. Sie ist der Sinn der ganzen Übung.

Wo das alles zusammenläuft

Diese Pflichten hängen nicht in der Luft. Sie hängen an Ihrem KI-Governance-Inventar — genau an den Spalten „Owner" und „Mensch in der Schleife". Wer pro Hochrisiko-System schriftlich festhält, wer aufsichtsführend verantwortlich ist, wer übersteuern darf und wer Betroffene informiert, hat den Großteil bereits stehen. Das Inventar ist die Akte, in der Ihr Gericht tagt.

Parallel läuft immer die DSGVO. Personenbezogene Entscheidungen rufen die Datenschutz-Logik ohnehin auf den Plan; eine Grundrechte- oder Datenschutz-Folgenabschätzung überschneidet sich oft mit dem, was der AI Act hier verlangt. Wer die DSGVO ernst genommen hat, findet hier weniger Neuland, als er fürchtet. Den Gesamtüberblick, wo Ihre Werkzeuge stehen, gibt die Landkarte souveräner KI für den Mittelstand.

Die Pointe — und wohin von hier

Hochrisiko ist die eine Stufe, bei der das EU-Recht echte Substanz verlangt. Nicht zum Ärgern, sondern weil hier Menschen betroffen sind. Klein reden wollen wir das nicht: Es kostet Aufmerksamkeit, und es will sauber dokumentiert sein. Aber die entlastende Wahrheit bleibt bestehen — die schwere Last trägt der Hersteller, Ihre Pflichten sind eine klare Liste, und vieles steht schon, wenn Ihr Inventar sauber geführt ist. Über allem steht ein einziger, tragender Satz: Die KI sagt aus. Urteilen müssen Sie.

Wohin von hier?

• Wenn Sie den Gesamtzusammenhang der Risikoklassen noch einmal von oben sehen wollen, lesen Sie den Cluster-Opener zu Risikoklassen, Anbietern und Deployern.
• Wenn Sie jetzt konkret werden wollen, beginnen Sie beim KI-Governance-Inventar — das ist das Fundament, an dem hier alles hängt.
• Und wenn Sie unsicher sind, ob ein bestimmtes Tool überhaupt unter Hochrisiko fällt, holen Sie für die finale Einordnung eine Fachjuristin dazu — so, wie wir es in der KI-Beratung für den Mittelstand und entlang des azena-Wegs handhaben: ruhig, gründlich, ohne Drama.

Im Zweifel gilt, besonders bei der Einstufung selbst: erst klären, dann einsetzen. Ein Gericht, das ein Gutachten ungeprüft übernimmt, urteilt nicht — und eine KI-Entscheidung, die niemand verantworten kann, ist genau das Risiko, das der AI Act verhindern will.

Teil der Compliance-Landkarte: [KI-Compliance im Mittelstand — vier Pflichten, ein System](/blog/ki-compliance-mittelstand-landkarte).