AI im Recruiting · 9 min Lesezeit

KI-Kompetenzen testen: So messen Sie, was jemand mit KI wirklich kann

Wie Sie KI-Kompetenzen testen: warum ein Wissensquiz nicht reicht, vier Methoden mit Beispielen, ein Bewertungsmodell und die rechtlichen Punkte.

Door Ingmar van Maurik · Founder & CEO, Making Moves


Kurze Antwort

KI-Kompetenzen lassen sich nicht allein mit einem Wissensquiz testen. Ein guter Test kombiniert vier Methoden: Wissensfragen, Situational-Judgement-Szenarien, eine Praxisaufgabe, in der KI erlaubt ist, und ein Verifikationsgespräch, in dem die Person ihre Entscheidungen erklärt. Gewichten Sie den Praxisteil am stärksten, legen Sie eine Sicherheitsschwelle für gefährliche Handlungen fest und lassen Sie immer einen Menschen entscheiden.

Was meinen wir mit KI-Kompetenzen?

Was jemand mit KI können muss, unterscheidet sich stark je nach Rolle. Wir unterscheiden drei Stufen:

StufeTypische RolleWas die Person können muss

|---|---|---|

KI-AnwenderMitarbeitende, Recruiting, MarketingDas passende Werkzeug wählen, gut prompten, Ergebnisse prüfen, keine sensiblen Daten teilen Entwickler (Automatisierung)Softwareentwicklung, Operations, DatenanalyseWorkflows und Agents bauen, RAG einrichten, APIs anbinden, Fehler abfangen, testen Berater oder ArchitektCTO, Solution Architect, KI-VerantwortlicheUse Cases auswählen, Kosten und Risiken abwägen, Evaluation und Governance aufsetzen, Architektur entwerfen

Darunter liegen konkrete Bereiche: Modellwahl, Prompting, Prüfung von Ergebnissen, RAG (KI mit eigenen Dokumenten arbeiten lassen), KI-Agents, Integrationen, Sicherheit, Evaluation, Kosten, Governance und Unternehmensarchitektur. Nicht jede Rolle braucht alle davon.

Warum Selbstauskünfte und Lebenslauf-Stichwörter nicht ausreichen

"ChatGPT", "Prompt Engineering" und "KI-Agents" stehen inzwischen in vielen Lebensläufen. Das sagt etwas über Interesse und Erfahrung, aber wenig über das Niveau. Oft gibt es einen Unterschied zwischen dem, was jemand zu können glaubt (behauptete Kompetenz), und dem, was jemand in einer Aufgabe zeigt (nachgewiesene Kompetenz).

Dieser Unterschied bedeutet nicht, dass jemand blufft. Es gibt naheliegende Erklärungen:

  • Selbsteinschätzung ist schwierig. In einem neuen Fachgebiet weiß man oft noch nicht, was man nicht weiß.
  • Testbedingungen unterscheiden sich. Im Arbeitsalltag haben Sie Zeit, Kollegen und Ihre eigenen Werkzeuge. Im Test oft nicht.
  • Jede Messung enthält Messfehler. Auch ein guter Test liefert eine Schätzung, keine exakte Zahl.
  • Die Konsequenz: Verlassen Sie sich nicht auf eine einzige Quelle. Messen Sie Verhalten und fragen Sie nach.

    Vier Methoden, um KI-Kompetenzen zu testen

    1. Wissensfragen

    Wissensfragen prüfen, ob jemand die Grundbegriffe und Prinzipien kennt. Sie sind schnell und objektiv auszuwerten, zeigen aber nicht, ob jemand dieses Wissen auch anwendet.

    Beispiel: "Ein Team möchte, dass ein KI-Assistent Fragen auf Basis von 2.000 internen Richtliniendokumenten beantwortet. Welcher Ansatz passt am besten? A) Alle Dokumente in jeden Prompt kopieren. B) Ein RAG-Aufbau, der relevante Passagen abruft und die Quelle anzeigt. C) Das Modell bitten, die Richtlinien auswendig zu lernen. D) Ein größeres Modell wählen."

    2. Situational-Judgement-Szenarien

    Ein Situational Judgement Test beschreibt eine realistische Arbeitssituation und fragt, welche Reaktion die beste ist. So messen Sie Urteilsvermögen: Weiß die Person, was zu tun ist, wenn KI einen Fehler macht?

    Beispiel: "Sie bitten einen KI-Assistenten um Zahlen für eine Präsentation vor der Geschäftsführung. Die Antwort enthält einen überzeugenden Prozentsatz zu Kundenpräferenzen, ohne Quelle. Was tun Sie am besten?" Die stärkste Reaktion: die Zahl nicht verwenden, bis eine verlässliche Primärquelle gefunden ist, und sie andernfalls weglassen. Schwach ist es, die Zahl zu übernehmen, weil sie plausibel klingt, oder die KI zu fragen "Stimmt das?" und die Antwort als Bestätigung zu werten.

    3. Praxisaufgabe mit erlaubter KI

    Sie verbieten KI nicht, Sie erwarten ihren Einsatz, denn im Job ist sie auch erlaubt. Sie bewerten zwei Dinge: das Ergebnis (funktioniert es, stimmt es, ist es sicher) und den Prozess (welche Entscheidungen trifft die Person, wird das Ergebnis geprüft, was passiert bei Fehlern).

    Beispiel: Die Person erhält die Logs eines KI-Support-Agents. Der Agent ruft eine Bestell-API auf, die immer wieder HTTP 429 zurückgibt (zu viele Anfragen). Der Agent versucht es sofort erneut, dutzende Male, und sagt der Kundin danach: "Ihre Bestellung ist bestätigt." Aufgabe: Was läuft schief und wie beheben Sie es?

    Eine starke Lösung nennt:

  • Die Ursache: 429 bedeutet, dass ein Limit erreicht ist. Sofortige Wiederholungen verschlimmern das Problem.
  • Retries mit Backoff: Wartezeiten mit wachsenden Abständen und etwas Zufall, eine Höchstzahl an Versuchen, den Retry-After-Header beachten und sicherstellen, dass eine wiederholte Anfrage keine doppelte Bestellung erzeugt.
  • Einen sicheren Fallback: Der Agent bestätigt nur, wenn die API tatsächlich Erfolg meldet. Sonst teilt er ehrlich mit, dass die Bestellung noch nicht verarbeitet ist, oder übergibt an einen Menschen.
  • Monitoring: Warnmeldungen bei vielen 429-Fehlern und bei Bestätigungen ohne erfolgreiche API-Antwort.
  • Regressionstests: einen Test, der einen 429-Fehler simuliert und prüft, dass der Agent dann nie eine Bestätigung gibt.
  • 4. Strukturiertes Verifikationsgespräch

    Zum Schluss verteidigt die Person ihre Entscheidungen in einem kurzen Gespräch mit festen Fragen und einem Bewertungsschema. So zeigt sich, ob sie versteht, was gebaut wurde, auch wenn KI dabei geholfen hat.

    Beispiel: "Ihr Agent kann Rechnungen bezahlen. Er ist dabei, 4.800 Euro auf ein Konto zu überweisen, dessen Bankverbindung gestern per E-Mail geändert wurde. Was hätten Sie eingebaut, und warum?" Achten Sie auf menschliche Freigabe ab einem Schwellenbetrag, Prüfung geänderter Zahlungsdaten über einen zweiten Kanal, eingeschränkte Rechte für den Agent und Protokollierung.

    Ein einfaches Bewertungsmodell

    BestandteilGewichtWas er zeigt

    |---|---|---|

    Wissensfragen25%Begriffe und Prinzipien Szenarien25%Urteilsvermögen in realistischen Situationen Praxis (Aufgabe plus Verifikationsgespräch)50%Was jemand wirklich kann und versteht

    Ergänzen Sie eine Sicherheitsschwelle. Tut jemand in der Aufgabe etwas Gefährliches, etwa personenbezogene Daten an ein nicht freigegebenes externes Tool senden oder einen Agent ohne Kontrolle zahlen lassen, wird die Stufe begrenzt, unabhängig von der Gesamtpunktzahl. Ein hoher Wissenswert gleicht riskantes Verhalten in der Praxis nicht aus.

    Arbeiten Sie mit Stufen oder Punktbändern statt mit exakten Punkten. Kleine Unterschiede zwischen Personen liegen innerhalb des Messfehlers. Mehr dazu in was ein Assessment valide und reliabel macht.

    Worauf Sie rechtlich achten sollten

  • Art. 22 DSGVO. Eine Absage darf nicht ausschließlich auf automatisierter Verarbeitung beruhen, wenn sie die Person erheblich beeinträchtigt. Lassen Sie einen Menschen das Ergebnis prüfen und entscheiden.
  • EU AI Act. KI-Systeme, die zur Bewertung oder Auswahl von Bewerbenden eingesetzt werden, gelten nach Anhang III als hochriskant. Nach dem Digital Omnibus (Verordnung (EU) 2026/1744) gelten diese Pflichten ab dem 2. Dezember 2027. Wenn Sie KI zur Auswertung von Antworten nutzen, kann das auch Ihren Einsatz betreffen. Welche Pflichten genau gelten, hängt davon ab, ob Sie Anbieter oder Betreiber des Systems sind.
  • Validierung und Fairness. Belegen Sie, dass der Test misst, was die Stelle verlangt, und beobachten Sie Ergebnisse nach Gruppen. Eine Aufgabe, die vor allem schnelles Tippen oder englischen Fachjargon belohnt, misst etwas anderes als KI-Kompetenz. Erklären Sie vorab, was Sie messen und wann KI erlaubt ist.
  • So fangen Sie an

    1. Führen Sie eine Anforderungsanalyse je Rolle durch. Was muss eine Recruiterin mit KI können, was ein Entwickler?

    2. Wählen Sie vier bis sechs Bereiche. Für KI-Anwender etwa Prompting, Prüfung, Sicherheit und Kosten.

    3. Starten Sie einen Pilot. Testen Sie mit Mitarbeitenden, deren Niveau Sie kennen. Prüfen Sie, ob die Aufgaben klar sind und ob die Beurteilenden übereinstimmen.

    4. Vergleichen Sie mit der Leistung. Prüfen Sie nach einigen Monaten, ob die Ergebnisse mit der tatsächlichen Arbeitsleistung zusammenhängen.

    Mehr zum Messen von Verhalten lesen Sie unter Kompetenztest in der Personalauswahl.

    Über das Making Moves AI Skills Assessment

    Wir entwickeln das Making Moves AI Skills Assessment nach diesem Aufbau: Wissen, Szenarien und Praxis in den oben genannten Bereichen. Das Assessment befindet sich in einer Pilotphase. Es ist noch kein validierter, normierter Auswahltest. Nutzen Sie das Ergebnis daher als Grundlage für ein Gespräch oder einen Entwicklungsplan, nicht als alleinige Basis für eine Auswahlentscheidung.

    Häufig gestellte Fragen

    Reicht ein KI-Wissenstest, um KI-Kompetenzen zu testen?

    Nein. Wissen ist eine Voraussetzung, sagt aber wenig über die Anwendung. Kombinieren Sie Wissensfragen mit Szenarien, einer Praxisaufgabe und einem Verifikationsgespräch.

    Darf eine Person während des Tests KI nutzen?

    Im Praxisteil ja. Sie messen gerade, wie jemand KI einsetzt, prüft und korrigiert. Bei Wissensfragen schließen Sie KI besser aus, damit Sie das eigene Wissen messen. Erklären Sie vorab klar, was erlaubt ist.

    Können Sie auch bestehende Mitarbeitende testen?

    Ja. Bei Mitarbeitenden geht es meist um Entwicklung: sehen, wo jemand steht und welche Weiterbildung passt. Seien Sie offen über den Zweck und darüber, was mit den Ergebnissen geschieht. Beziehen Sie bei einer unternehmensweiten Erhebung den Betriebsrat ein.

    Fällt ein Test von KI-Kompetenzen unter den AI Act?

    Ein Test über KI ist nicht automatisch ein KI-System. Setzen Sie jedoch KI ein, um Bewerbende zu bewerten oder auszuwählen, etwa für eine automatische Auswertung, gilt das als hochriskant nach Anhang III, mit Pflichten ab dem 2. Dezember 2027.

    Zusammenfassung

  • Ein Wissensquiz reicht nicht: Messen Sie, was jemand mit KI tut, nicht nur, was jemand weiß.
  • Ein Unterschied zwischen behaupteter und nachgewiesener Kompetenz ist normal und bedeutet nicht, dass jemand blufft.
  • Kombinieren Sie Wissensfragen, Szenarien, eine Praxisaufgabe mit KI und ein Verifikationsgespräch.
  • Gewichten Sie die Praxis am stärksten und nutzen Sie eine Sicherheitsschwelle für gefährliche Handlungen.
  • Beachten Sie Art. 22 DSGVO und den AI Act: Ein Mensch entscheidet.
  • Möchten Sie wissen, wo Sie oder Ihr Team stehen? Machen Sie den kostenlosen AI Skills Check oder nehmen Sie Kontakt auf, wenn Sie KI-Kompetenzen in Ihrer Organisation messen möchten.


    Erstgespräch vereinbaren · Unser AI Hiring System ansehen