KI-Kompetenzen testen: So messen Sie, was jemand mit KI wirklich kann
Wie Sie KI-Kompetenzen testen: warum ein Wissensquiz nicht reicht, vier Methoden mit Beispielen, ein Bewertungsmodell und die rechtlichen Punkte.
Door Ingmar van Maurik · Founder & CEO, Making Moves
Kurze Antwort
KI-Kompetenzen lassen sich nicht allein mit einem Wissensquiz testen. Ein guter Test kombiniert vier Methoden: Wissensfragen, Situational-Judgement-Szenarien, eine Praxisaufgabe, in der KI erlaubt ist, und ein Verifikationsgespräch, in dem die Person ihre Entscheidungen erklärt. Gewichten Sie den Praxisteil am stärksten, legen Sie eine Sicherheitsschwelle für gefährliche Handlungen fest und lassen Sie immer einen Menschen entscheiden.
Was meinen wir mit KI-Kompetenzen?
Was jemand mit KI können muss, unterscheidet sich stark je nach Rolle. Wir unterscheiden drei Stufen:
|---|---|---|
Darunter liegen konkrete Bereiche: Modellwahl, Prompting, Prüfung von Ergebnissen, RAG (KI mit eigenen Dokumenten arbeiten lassen), KI-Agents, Integrationen, Sicherheit, Evaluation, Kosten, Governance und Unternehmensarchitektur. Nicht jede Rolle braucht alle davon.
Warum Selbstauskünfte und Lebenslauf-Stichwörter nicht ausreichen
"ChatGPT", "Prompt Engineering" und "KI-Agents" stehen inzwischen in vielen Lebensläufen. Das sagt etwas über Interesse und Erfahrung, aber wenig über das Niveau. Oft gibt es einen Unterschied zwischen dem, was jemand zu können glaubt (behauptete Kompetenz), und dem, was jemand in einer Aufgabe zeigt (nachgewiesene Kompetenz).
Dieser Unterschied bedeutet nicht, dass jemand blufft. Es gibt naheliegende Erklärungen:
Die Konsequenz: Verlassen Sie sich nicht auf eine einzige Quelle. Messen Sie Verhalten und fragen Sie nach.
Vier Methoden, um KI-Kompetenzen zu testen
1. Wissensfragen
Wissensfragen prüfen, ob jemand die Grundbegriffe und Prinzipien kennt. Sie sind schnell und objektiv auszuwerten, zeigen aber nicht, ob jemand dieses Wissen auch anwendet.
Beispiel: "Ein Team möchte, dass ein KI-Assistent Fragen auf Basis von 2.000 internen Richtliniendokumenten beantwortet. Welcher Ansatz passt am besten? A) Alle Dokumente in jeden Prompt kopieren. B) Ein RAG-Aufbau, der relevante Passagen abruft und die Quelle anzeigt. C) Das Modell bitten, die Richtlinien auswendig zu lernen. D) Ein größeres Modell wählen."
2. Situational-Judgement-Szenarien
Ein Situational Judgement Test beschreibt eine realistische Arbeitssituation und fragt, welche Reaktion die beste ist. So messen Sie Urteilsvermögen: Weiß die Person, was zu tun ist, wenn KI einen Fehler macht?
Beispiel: "Sie bitten einen KI-Assistenten um Zahlen für eine Präsentation vor der Geschäftsführung. Die Antwort enthält einen überzeugenden Prozentsatz zu Kundenpräferenzen, ohne Quelle. Was tun Sie am besten?" Die stärkste Reaktion: die Zahl nicht verwenden, bis eine verlässliche Primärquelle gefunden ist, und sie andernfalls weglassen. Schwach ist es, die Zahl zu übernehmen, weil sie plausibel klingt, oder die KI zu fragen "Stimmt das?" und die Antwort als Bestätigung zu werten.
3. Praxisaufgabe mit erlaubter KI
Sie verbieten KI nicht, Sie erwarten ihren Einsatz, denn im Job ist sie auch erlaubt. Sie bewerten zwei Dinge: das Ergebnis (funktioniert es, stimmt es, ist es sicher) und den Prozess (welche Entscheidungen trifft die Person, wird das Ergebnis geprüft, was passiert bei Fehlern).
Beispiel: Die Person erhält die Logs eines KI-Support-Agents. Der Agent ruft eine Bestell-API auf, die immer wieder HTTP 429 zurückgibt (zu viele Anfragen). Der Agent versucht es sofort erneut, dutzende Male, und sagt der Kundin danach: "Ihre Bestellung ist bestätigt." Aufgabe: Was läuft schief und wie beheben Sie es?
Eine starke Lösung nennt:
4. Strukturiertes Verifikationsgespräch
Zum Schluss verteidigt die Person ihre Entscheidungen in einem kurzen Gespräch mit festen Fragen und einem Bewertungsschema. So zeigt sich, ob sie versteht, was gebaut wurde, auch wenn KI dabei geholfen hat.
Beispiel: "Ihr Agent kann Rechnungen bezahlen. Er ist dabei, 4.800 Euro auf ein Konto zu überweisen, dessen Bankverbindung gestern per E-Mail geändert wurde. Was hätten Sie eingebaut, und warum?" Achten Sie auf menschliche Freigabe ab einem Schwellenbetrag, Prüfung geänderter Zahlungsdaten über einen zweiten Kanal, eingeschränkte Rechte für den Agent und Protokollierung.
Ein einfaches Bewertungsmodell
|---|---|---|
Ergänzen Sie eine Sicherheitsschwelle. Tut jemand in der Aufgabe etwas Gefährliches, etwa personenbezogene Daten an ein nicht freigegebenes externes Tool senden oder einen Agent ohne Kontrolle zahlen lassen, wird die Stufe begrenzt, unabhängig von der Gesamtpunktzahl. Ein hoher Wissenswert gleicht riskantes Verhalten in der Praxis nicht aus.
Arbeiten Sie mit Stufen oder Punktbändern statt mit exakten Punkten. Kleine Unterschiede zwischen Personen liegen innerhalb des Messfehlers. Mehr dazu in was ein Assessment valide und reliabel macht.
Worauf Sie rechtlich achten sollten
So fangen Sie an
1. Führen Sie eine Anforderungsanalyse je Rolle durch. Was muss eine Recruiterin mit KI können, was ein Entwickler?
2. Wählen Sie vier bis sechs Bereiche. Für KI-Anwender etwa Prompting, Prüfung, Sicherheit und Kosten.
3. Starten Sie einen Pilot. Testen Sie mit Mitarbeitenden, deren Niveau Sie kennen. Prüfen Sie, ob die Aufgaben klar sind und ob die Beurteilenden übereinstimmen.
4. Vergleichen Sie mit der Leistung. Prüfen Sie nach einigen Monaten, ob die Ergebnisse mit der tatsächlichen Arbeitsleistung zusammenhängen.
Mehr zum Messen von Verhalten lesen Sie unter Kompetenztest in der Personalauswahl.
Über das Making Moves AI Skills Assessment
Wir entwickeln das Making Moves AI Skills Assessment nach diesem Aufbau: Wissen, Szenarien und Praxis in den oben genannten Bereichen. Das Assessment befindet sich in einer Pilotphase. Es ist noch kein validierter, normierter Auswahltest. Nutzen Sie das Ergebnis daher als Grundlage für ein Gespräch oder einen Entwicklungsplan, nicht als alleinige Basis für eine Auswahlentscheidung.
Häufig gestellte Fragen
Reicht ein KI-Wissenstest, um KI-Kompetenzen zu testen?
Nein. Wissen ist eine Voraussetzung, sagt aber wenig über die Anwendung. Kombinieren Sie Wissensfragen mit Szenarien, einer Praxisaufgabe und einem Verifikationsgespräch.
Darf eine Person während des Tests KI nutzen?
Im Praxisteil ja. Sie messen gerade, wie jemand KI einsetzt, prüft und korrigiert. Bei Wissensfragen schließen Sie KI besser aus, damit Sie das eigene Wissen messen. Erklären Sie vorab klar, was erlaubt ist.
Können Sie auch bestehende Mitarbeitende testen?
Ja. Bei Mitarbeitenden geht es meist um Entwicklung: sehen, wo jemand steht und welche Weiterbildung passt. Seien Sie offen über den Zweck und darüber, was mit den Ergebnissen geschieht. Beziehen Sie bei einer unternehmensweiten Erhebung den Betriebsrat ein.
Fällt ein Test von KI-Kompetenzen unter den AI Act?
Ein Test über KI ist nicht automatisch ein KI-System. Setzen Sie jedoch KI ein, um Bewerbende zu bewerten oder auszuwählen, etwa für eine automatische Auswertung, gilt das als hochriskant nach Anhang III, mit Pflichten ab dem 2. Dezember 2027.
Zusammenfassung
Möchten Sie wissen, wo Sie oder Ihr Team stehen? Machen Sie den kostenlosen AI Skills Check oder nehmen Sie Kontakt auf, wenn Sie KI-Kompetenzen in Ihrer Organisation messen möchten.