Was macht einen Assessment-Test valide und reliabel?
Wann ist ein Assessment valide und reliabel? Validitätswerte je Testverfahren, der Messfehler verständlich erklärt und eine Checkliste nach DIN 33430.
Door Ingmar van Maurik · Founder & CEO, Making Moves
Kurze Antwort
Ein Assessment ist valide, wenn es misst, was es zu messen vorgibt, und nachweislich die Arbeitsleistung vorhersagt. Es ist reliabel, wenn es bei wiederholter Durchführung konsistente Ergebnisse liefert. Für Auswahlentscheidungen sollten Sie eine Reliabilität von mindestens 0,80 und eine nachgewiesene Validität von 0,30 oder höher für eine vergleichbare Position erwarten.
Dieser Artikel gehört zu unserem vollständigen Leitfaden zu Assessments in der Personalauswahl.
Warum das wichtig ist
Ein Assessment ist nur dann wertvoll, wenn es misst, was es verspricht, und konsistente Ergebnisse liefert. Das klingt selbstverständlich, doch viele Unternehmen setzen Assessments ein, ohne zu wissen, ob sie die Arbeitsleistung überhaupt vorhersagen.
Die Folge: Entscheidungen auf Basis von Rauschen. Sie glauben, datengestützt einzustellen, nutzen aber ein Instrument, das kaum besser vorhersagt als der Zufall. Schlimmer noch, es vermittelt eine trügerische Sicherheit.
In diesem Artikel erfahren Sie, was Validität und Reliabilität genau bedeuten, wie gut gängige Testverfahren abschneiden, wie Sie einen Testwert richtig lesen und welche Fragen Sie Ihrem Anbieter stellen sollten. Zum Schluss zeigen wir, wie Sie ein Assessment mit Ihren eigenen Daten validieren.
Validität: Messen Sie, was Sie messen wollen?
Validität beantwortet eine Frage: Sagt dieser Test tatsächlich die Arbeitsleistung vorher? Vier Formen sollten Sie kennen.
Prognostische Validität
Das ist der Goldstandard. Sie vergleichen Testergebnisse mit der späteren Leistung im Job:
Die prognostische Validität wird als Korrelationskoeffizient (r) ausgedrückt. Übliche Richtwerte in der Personalauswahl:
|---|---|
Das wirkt bescheiden, doch in der Personalauswahl ist r = 0,30 bereits wertvoll: Über Hunderte Entscheidungen verschiebt es Ihre Trefferquote deutlich.
Konstruktvalidität: konvergente und divergente Validität
Misst der Test das richtige Konstrukt? Ein Test für analytisches Denken sollte analytisches Denken messen, nicht Lesefähigkeit oder Arbeitsgedächtnis. Das prüfen Sie auf zwei Wegen:
Eine Faktorenanalyse zeigt außerdem, ob die Items wie beabsichtigt zusammenhängen.
Kriteriumsvalidität
Welchen Erfolg wollen Sie vorhersagen? Produktivität, Bindung, Kundenzufriedenheit, Entwicklungstempo oder Beitrag zum Team sind unterschiedliche Kriterien, und unterschiedliche Kriterien erfordern unterschiedliche Prädiktoren. Ein Test, der Produktivität vorhersagt, sagt nicht automatisch Fluktuation vorher. Definieren Sie zuerst, was Erfolg in der Rolle bedeutet, und wählen Sie erst dann den Test.
Inhaltsvalidität
Deckt der Test ab, was die Position tatsächlich verlangt? Das klären Sie mit einer Anforderungsanalyse: Welche Aufgaben, Situationen und Kompetenzen bestimmen den Erfolg? Ein Assessment für eine Sicherheitskraft prüft zum Beispiel Aufmerksamkeit, Integrität und Urteilsvermögen bei Vorfällen, nicht abstrakte Mustererkennung ohne Bezug zur Arbeit.
Reliabilität: Ist der Test konsistent?
Reliabilität beantwortet die Frage: Liefert der Test bei Wiederholung vergleichbare Ergebnisse?
Retest-Reliabilität
Erzielt dieselbe Person zu zwei Zeitpunkten ähnliche Werte? Richtwert: über 0,80 ist gut, 0,70 bis 0,80 akzeptabel, und unter 0,70 enthält der Test zu viel Rauschen für individuelle Auswahlentscheidungen.
Interne Konsistenz (Cronbachs Alpha)
Messen alle Items einer Skala dasselbe? Richtwert: α über 0,80 ist gut, 0,70 bis 0,80 akzeptabel, unter 0,70 fragwürdig. Achtung: Bei einem Situational Judgement Test (SJT) ist Alpha oft niedriger, weil jede Situation etwas anderes anspricht. Dort ist die Retest-Reliabilität aussagekräftiger.
Beurteilerübereinstimmung
Bei Interviews, Assessment Centern und Arbeitsproben: Kommen verschiedene Beurteiler zum selben Urteil? Ist die Übereinstimmung gering, helfen strukturierte Bewertungsskalen mit Verhaltensankern und Beurteilerschulungen.
Warum ein unreliabler Test niemals valide sein kann
Reliabilität begrenzt die Validität. Der Zusammenhang zwischen Test und Arbeitsleistung kann nie höher sein als die Wurzel aus der Reliabilität des Tests mal der Reliabilität der Leistungsbeurteilung. Ein Test mit einer Reliabilität von 0,60 und eine Beurteilung mit 0,50 erreichen zusammen höchstens r = 0,55, in der Praxis deutlich weniger.
Umgekehrt gilt das nicht: Ein reliabler Test ist nicht automatisch valide. Er kann sehr konsistent das Falsche messen. Mehr Beispiele unter Validität und Reliabilität: der Unterschied.
Der Standardmessfehler: Wann ist ein Unterschied wirklich ein Unterschied?
Jeder Testwert enthält Messfehler. Der Standardmessfehler zeigt, wie viel: Standardabweichung × √(1 − Reliabilität).
Rechenbeispiel: Ein Test der kognitiven Fähigkeiten mit einer Standardabweichung von 15 und einer Reliabilität von 0,90 hat einen Messfehler von etwa 4,7 Punkten. Das 95%-Intervall um einen Wert reicht dann gut 9 Punkte nach oben und unten. Kandidat A mit 108 und Kandidat B mit 103 unterscheiden sich also nicht nachweisbar.
Praktische Konsequenz: Arbeiten Sie mit Wertebändern statt mit einem harten Cut-off an einem einzigen Punkt, und lassen Sie kleine Unterschiede nie den Ausschlag geben.
Wie valide und reliabel sind gängige Testverfahren?
Die jüngste große Metaanalyse (Sackett, Zhang, Berry und Lievens, 2022) hat den Vorhersagewert von Auswahlverfahren neu berechnet. Durchschnittliche korrigierte Validität, mit einer Einordnung der üblichen Reliabilität:
|---|---|---|
Die Reliabilitätswerte sind Richtwerte und unterscheiden sich stark je nach konkretem Test. Zwei Lehren aus diesen Zahlen:
Wie reliabel ist ein kognitiver Leistungstest?
Kognitive Leistungstests gehören zu den reliabelsten Instrumenten (oft 0,85 oder höher) und sagen Lernfähigkeit und Leistung in komplexen Positionen gut vorher. Zu beachten: Sie können Adverse Impact auf bestimmte Gruppen haben und sagen nichts über Motivation oder Verhalten aus. Prüfen Sie daher immer Gruppenunterschiede in Ihrem eigenen Bewerberpool.
Wie reliabel ist ein Kompetenztest?
"Kompetenztest" ist ein Sammelbegriff, von Selbstauskunftsfragebögen bis zu SJTs und Assessment Centern. Die Reliabilität hängt ganz von der Form ab. Selbstauskünfte sind anfällig für sozial erwünschtes Antworten; verhaltensbezogene Formen (SJT, strukturiertes Interview, Arbeitsprobe) sagen besser vorher. Fragen Sie also immer: Wie wird die Kompetenz gemessen, und wo wurde das untersucht? Mehr dazu unter Kompetenztest in der Personalauswahl.
Und Persönlichkeitstests?
Persönlichkeitsfragebögen sind recht reliabel, sagen die Leistung allein aber nur moderat vorher; Gewissenhaftigkeit ist der stärkste Faktor. Ihr Wert liegt im passenden Einsatz: als Ergänzung, ausgerichtet auf Eigenschaften, die für die Position nachweislich relevant sind, und nie als alleiniges K.-o.-Kriterium.
Und Integritätstests?
Integritätstests sagen kontraproduktives Verhalten (etwa Diebstahl, Fehlzeiten und Regelverstöße) und Leistung recht gut vorher, mit einer mittleren Validität von 0,31. Es gibt zwei Varianten: offene Tests, die direkt nach Einstellungen und Verhalten fragen, und persönlichkeitsorientierte Tests, die Eigenschaften wie Gewissenhaftigkeit und Zuverlässigkeit messen. Besonders wertvoll sind sie in Positionen mit Verantwortung für Geld, Waren oder Sicherheit. Kombinieren Sie sie immer mit weiteren Informationen und erklären Sie Kandidaten offen den Zweck.
Checkliste: 8 Fragen an Ihren Assessment-Anbieter
Kann ein Anbieter die ersten drei Fragen nicht konkret beantworten, wissen Sie im Grunde nicht, was Sie messen.
Warum generische Tests oft zu kurz greifen
Kommerzielle Assessments sind meist an breiten Populationen validiert. Daraus ergeben sich drei Probleme:
Lesen Sie auch, warum generische Assessments nicht funktionieren und wie Sie unternehmensspezifische Assessments entwickeln.
Selbst validieren: So gehen Sie vor
Mit einem eigenen Assessment-System können Sie nachweisen, was in Ihrem Unternehmen funktioniert.
Schritt 1: Beginnen Sie mit der Anforderungsanalyse
Halten Sie fest, welche Aufgaben und Verhaltensweisen den Erfolg bestimmen. Das gibt Ihnen Inhaltsvalidität vom ersten Tag an, noch bevor Sie Daten haben.
Schritt 2: Bauen Sie eigene Normgruppen auf
Vergleichen Sie Kandidaten mit Ihren erfolgreichen Mitarbeitenden je Rolle, nicht mit dem Markt. Mehr dazu in wie Sie Ihre eigene Normgruppe aufbauen.
Schritt 3: Verknüpfen Sie Werte mit Leistung
Korrelieren Sie Assessment-Werte mit Beurteilungen nach 6 und 12 Monaten, Bindung und weiteren Kriterien. So sehen Sie, welche Bestandteile vorhersagen und welche Rauschen sind, und können die Gewichtung anpassen.
Schritt 4: Seien Sie ehrlich bei Fallzahlen
Lokale Validierung braucht Daten. Bei 60 Einstellungen ist eine gefundene Korrelation von 0,35 statistisch noch unsicher: Das 95%-Intervall reicht von etwa 0,11 bis 0,55. Rechnen Sie mit mindestens 100 bis 150 Einstellungen je Funktionsfamilie für stabile Aussagen. Bis dahin kombinieren Sie eigene Daten mit bestehender Forschung und einer gründlichen Anforderungsanalyse.
Schritt 5: Kalibrieren Sie weiter und überwachen Sie Bias
Wiederholen Sie die Analyse nach jeder Einstellungsrunde und prüfen Sie je Untergruppe, ob der Test gleich gut vorhersagt und niemanden ungerechtfertigt benachteiligt. So wird Ihr System mit der Zeit immer klüger, was ein Standardtest per Definition nicht kann.
Der Unterschied in der Praxis
|---|---|---|
Häufig gestellte Fragen
Was ist der Unterschied zwischen Validität und Reliabilität?
Reliabilität betrifft die Konsistenz: Erhalten Sie bei Wiederholung denselben Wert? Validität betrifft die Gültigkeit: Misst der Test, was er messen soll, und sagt er die Arbeitsleistung vorher? Ein Test muss zuerst reliabel sein, um valide sein zu können.
Wann ist ein Assessment reliabel genug?
Für individuelle Auswahlentscheidungen gilt meist eine Reliabilität von 0,80 oder höher als Standard. Zwischen 0,70 und 0,80 ist sie als ergänzende Information brauchbar, nicht als einziges Kriterium.
Was ist eine gute Validität für ein Assessment?
Eine mittlere Validität von 0,30 oder höher ist in der Personalauswahl stark. Werte über 0,40 sind selten; seien Sie kritisch bei höheren Versprechen ohne zugrunde liegende Studien.
Was ist divergente Validität?
Divergente (oder diskriminante) Validität zeigt, dass ein Test nicht stark mit Tests zusammenhängt, die etwas anderes messen. Damit belegen Sie, dass der Test ein eigenes, klar abgegrenztes Konstrukt misst.
Wie viele Kandidaten braucht man, um einen Test zu validieren?
Für eine stabile lokale Validierung rechnen Sie mit mindestens 100 bis 150 Einstellungen je Funktionsfamilie. Bei kleineren Zahlen stützen Sie sich auf eine gründliche Anforderungsanalyse und bestehende Forschung zu vergleichbaren Positionen.
Darf ich einen übersetzten Test einfach verwenden?
Besser nicht ohne Prüfung. Eine Übersetzung kann die Bedeutung von Items verschieben. Prüfen Sie, ob die Sprachversion eigens untersucht wurde und ob es Normen für Ihr Land und Ihre Zielgruppe gibt.
Zusammenfassung
Möchten Sie wissen, wie valide Ihre aktuellen Assessments sind, oder ein Assessment entwickeln lassen, das nachweislich vorhersagt, wer erfolgreich wird? Sehen Sie sich an, wie wir maßgeschneiderte Assessments entwickeln, lesen Sie, wie unser AI Hiring System Validierung in den Prozess einbaut, oder nehmen Sie Kontakt auf.