Psychometrie · 13 min Lesezeit

Was macht einen Assessment-Test valide und reliabel?

Wann ist ein Assessment valide und reliabel? Validitätswerte je Testverfahren, der Messfehler verständlich erklärt und eine Checkliste nach DIN 33430.

Door Ingmar van Maurik · Founder & CEO, Making Moves


Kurze Antwort

Ein Assessment ist valide, wenn es misst, was es zu messen vorgibt, und nachweislich die Arbeitsleistung vorhersagt. Es ist reliabel, wenn es bei wiederholter Durchführung konsistente Ergebnisse liefert. Für Auswahlentscheidungen sollten Sie eine Reliabilität von mindestens 0,80 und eine nachgewiesene Validität von 0,30 oder höher für eine vergleichbare Position erwarten.

Dieser Artikel gehört zu unserem vollständigen Leitfaden zu Assessments in der Personalauswahl.

Warum das wichtig ist

Ein Assessment ist nur dann wertvoll, wenn es misst, was es verspricht, und konsistente Ergebnisse liefert. Das klingt selbstverständlich, doch viele Unternehmen setzen Assessments ein, ohne zu wissen, ob sie die Arbeitsleistung überhaupt vorhersagen.

Die Folge: Entscheidungen auf Basis von Rauschen. Sie glauben, datengestützt einzustellen, nutzen aber ein Instrument, das kaum besser vorhersagt als der Zufall. Schlimmer noch, es vermittelt eine trügerische Sicherheit.

In diesem Artikel erfahren Sie, was Validität und Reliabilität genau bedeuten, wie gut gängige Testverfahren abschneiden, wie Sie einen Testwert richtig lesen und welche Fragen Sie Ihrem Anbieter stellen sollten. Zum Schluss zeigen wir, wie Sie ein Assessment mit Ihren eigenen Daten validieren.

Validität: Messen Sie, was Sie messen wollen?

Validität beantwortet eine Frage: Sagt dieser Test tatsächlich die Arbeitsleistung vorher? Vier Formen sollten Sie kennen.

Prognostische Validität

Das ist der Goldstandard. Sie vergleichen Testergebnisse mit der späteren Leistung im Job:

  • Schneiden Kandidaten mit hohen Werten auch in Leistungsbeurteilungen nach 6 und 12 Monaten gut ab?
  • Welche Testbestandteile hängen mit Erfolg in der Rolle zusammen?
  • Sagen die Werte die Bindung vorher: Bleiben Kandidaten mit hohen Werten länger?
  • Die prognostische Validität wird als Korrelationskoeffizient (r) ausgedrückt. Übliche Richtwerte in der Personalauswahl:

    Korrelation (r)Interpretation

    |---|---|

    Unter 0,10Vernachlässigbar 0,10 bis 0,20Schwach 0,20 bis 0,30Brauchbar 0,30 bis 0,40Stark Über 0,40Sehr stark, selten in der Auswahl

    Das wirkt bescheiden, doch in der Personalauswahl ist r = 0,30 bereits wertvoll: Über Hunderte Entscheidungen verschiebt es Ihre Trefferquote deutlich.

    Konstruktvalidität: konvergente und divergente Validität

    Misst der Test das richtige Konstrukt? Ein Test für analytisches Denken sollte analytisches Denken messen, nicht Lesefähigkeit oder Arbeitsgedächtnis. Das prüfen Sie auf zwei Wegen:

  • Konvergente Validität: Der Test korreliert stark mit anderen anerkannten Tests für dasselbe Konstrukt. Ein neuer Test der kognitiven Fähigkeiten sollte also hoch mit einem bestehenden, validierten Test korrelieren.
  • Divergente Validität (auch diskriminante Validität): Der Test korreliert gerade nicht stark mit Tests für etwas anderes. Eine Skala für Stressresistenz, die hoch mit sozialer Erwünschtheit korreliert, misst vor allem, wer sich gern positiv darstellt.
  • Eine Faktorenanalyse zeigt außerdem, ob die Items wie beabsichtigt zusammenhängen.

    Kriteriumsvalidität

    Welchen Erfolg wollen Sie vorhersagen? Produktivität, Bindung, Kundenzufriedenheit, Entwicklungstempo oder Beitrag zum Team sind unterschiedliche Kriterien, und unterschiedliche Kriterien erfordern unterschiedliche Prädiktoren. Ein Test, der Produktivität vorhersagt, sagt nicht automatisch Fluktuation vorher. Definieren Sie zuerst, was Erfolg in der Rolle bedeutet, und wählen Sie erst dann den Test.

    Inhaltsvalidität

    Deckt der Test ab, was die Position tatsächlich verlangt? Das klären Sie mit einer Anforderungsanalyse: Welche Aufgaben, Situationen und Kompetenzen bestimmen den Erfolg? Ein Assessment für eine Sicherheitskraft prüft zum Beispiel Aufmerksamkeit, Integrität und Urteilsvermögen bei Vorfällen, nicht abstrakte Mustererkennung ohne Bezug zur Arbeit.

    Reliabilität: Ist der Test konsistent?

    Reliabilität beantwortet die Frage: Liefert der Test bei Wiederholung vergleichbare Ergebnisse?

    Retest-Reliabilität

    Erzielt dieselbe Person zu zwei Zeitpunkten ähnliche Werte? Richtwert: über 0,80 ist gut, 0,70 bis 0,80 akzeptabel, und unter 0,70 enthält der Test zu viel Rauschen für individuelle Auswahlentscheidungen.

    Interne Konsistenz (Cronbachs Alpha)

    Messen alle Items einer Skala dasselbe? Richtwert: α über 0,80 ist gut, 0,70 bis 0,80 akzeptabel, unter 0,70 fragwürdig. Achtung: Bei einem Situational Judgement Test (SJT) ist Alpha oft niedriger, weil jede Situation etwas anderes anspricht. Dort ist die Retest-Reliabilität aussagekräftiger.

    Beurteilerübereinstimmung

    Bei Interviews, Assessment Centern und Arbeitsproben: Kommen verschiedene Beurteiler zum selben Urteil? Ist die Übereinstimmung gering, helfen strukturierte Bewertungsskalen mit Verhaltensankern und Beurteilerschulungen.

    Warum ein unreliabler Test niemals valide sein kann

    Reliabilität begrenzt die Validität. Der Zusammenhang zwischen Test und Arbeitsleistung kann nie höher sein als die Wurzel aus der Reliabilität des Tests mal der Reliabilität der Leistungsbeurteilung. Ein Test mit einer Reliabilität von 0,60 und eine Beurteilung mit 0,50 erreichen zusammen höchstens r = 0,55, in der Praxis deutlich weniger.

    Umgekehrt gilt das nicht: Ein reliabler Test ist nicht automatisch valide. Er kann sehr konsistent das Falsche messen. Mehr Beispiele unter Validität und Reliabilität: der Unterschied.

    Der Standardmessfehler: Wann ist ein Unterschied wirklich ein Unterschied?

    Jeder Testwert enthält Messfehler. Der Standardmessfehler zeigt, wie viel: Standardabweichung × √(1 − Reliabilität).

    Rechenbeispiel: Ein Test der kognitiven Fähigkeiten mit einer Standardabweichung von 15 und einer Reliabilität von 0,90 hat einen Messfehler von etwa 4,7 Punkten. Das 95%-Intervall um einen Wert reicht dann gut 9 Punkte nach oben und unten. Kandidat A mit 108 und Kandidat B mit 103 unterscheiden sich also nicht nachweisbar.

    Praktische Konsequenz: Arbeiten Sie mit Wertebändern statt mit einem harten Cut-off an einem einzigen Punkt, und lassen Sie kleine Unterschiede nie den Ausschlag geben.

    Wie valide und reliabel sind gängige Testverfahren?

    Die jüngste große Metaanalyse (Sackett, Zhang, Berry und Lievens, 2022) hat den Vorhersagewert von Auswahlverfahren neu berechnet. Durchschnittliche korrigierte Validität, mit einer Einordnung der üblichen Reliabilität:

    VerfahrenMittlere Validität (r)Typische Reliabilität

    |---|---|---|

    Strukturiertes Interview0,420,70 bis 0,85 (Beurteiler) Fachwissenstest0,400,80 bis 0,90 Arbeitsprobe0,330,70 bis 0,85 (Beurteiler) Kognitiver Leistungstest0,310,85 bis 0,95 Integritätstest0,310,75 bis 0,85 Situational Judgement Test0,260,50 bis 0,70 (Alpha) Persönlichkeit: Gewissenhaftigkeit0,190,75 bis 0,85 Unstrukturiertes Interview0,19Niedrig und schwankend

    Die Reliabilitätswerte sind Richtwerte und unterscheiden sich stark je nach konkretem Test. Zwei Lehren aus diesen Zahlen:

  • Ältere Zahlen überschätzen. Die bekannte Studie von Schmidt und Hunter (1998) nannte für kognitive Tests noch 0,51. Laut der Neuberechnung waren die statistischen Korrekturen damals zu großzügig. Verspricht ein Anbieter "r = 0,50 oder höher" ohne eigene Studien, sollten Sie kritisch nachfragen.
  • Kombinieren lohnt sich. Kein Verfahren sagt alles vorher. Ein kognitiver Test plus ein strukturiertes Interview oder ein SJT sagt besser vorher als jedes Verfahren allein, weil sie Unterschiedliches messen.
  • Wie reliabel ist ein kognitiver Leistungstest?

    Kognitive Leistungstests gehören zu den reliabelsten Instrumenten (oft 0,85 oder höher) und sagen Lernfähigkeit und Leistung in komplexen Positionen gut vorher. Zu beachten: Sie können Adverse Impact auf bestimmte Gruppen haben und sagen nichts über Motivation oder Verhalten aus. Prüfen Sie daher immer Gruppenunterschiede in Ihrem eigenen Bewerberpool.

    Wie reliabel ist ein Kompetenztest?

    "Kompetenztest" ist ein Sammelbegriff, von Selbstauskunftsfragebögen bis zu SJTs und Assessment Centern. Die Reliabilität hängt ganz von der Form ab. Selbstauskünfte sind anfällig für sozial erwünschtes Antworten; verhaltensbezogene Formen (SJT, strukturiertes Interview, Arbeitsprobe) sagen besser vorher. Fragen Sie also immer: Wie wird die Kompetenz gemessen, und wo wurde das untersucht? Mehr dazu unter Kompetenztest in der Personalauswahl.

    Und Persönlichkeitstests?

    Persönlichkeitsfragebögen sind recht reliabel, sagen die Leistung allein aber nur moderat vorher; Gewissenhaftigkeit ist der stärkste Faktor. Ihr Wert liegt im passenden Einsatz: als Ergänzung, ausgerichtet auf Eigenschaften, die für die Position nachweislich relevant sind, und nie als alleiniges K.-o.-Kriterium.

    Und Integritätstests?

    Integritätstests sagen kontraproduktives Verhalten (etwa Diebstahl, Fehlzeiten und Regelverstöße) und Leistung recht gut vorher, mit einer mittleren Validität von 0,31. Es gibt zwei Varianten: offene Tests, die direkt nach Einstellungen und Verhalten fragen, und persönlichkeitsorientierte Tests, die Eigenschaften wie Gewissenhaftigkeit und Zuverlässigkeit messen. Besonders wertvoll sind sie in Positionen mit Verantwortung für Geld, Waren oder Sicherheit. Kombinieren Sie sie immer mit weiteren Informationen und erklären Sie Kandidaten offen den Zweck.

    Checkliste: 8 Fragen an Ihren Assessment-Anbieter

  • Validierungsstudien: Gibt es Studien für vergleichbare Positionen, und welche Korrelationen wurden gefunden?
  • Reliabilität je Skala: Alpha und/oder Retest je Bestandteil, nicht nur für den Gesamtwert.
  • Normgruppe: Wie groß, wie aktuell und wie relevant (Land, Sprache, Funktionsebene)?
  • Sprachversion: Wurde die deutsche Version eigens untersucht oder nur übersetzt?
  • Qualitätsstandards: Entspricht der Prozess der DIN 33430 (Anforderungen an berufsbezogene Eignungsdiagnostik), und gibt es eine unabhängige Testrezension, etwa nach dem Testbeurteilungssystem des Testkuratoriums (TBS-DTK)?
  • Adverse Impact: Wie werden Gruppenunterschiede überwacht, und was geschieht, wenn ein Bestandteil bestimmte Gruppen benachteiligt?
  • Aktualisierung: Wie oft wird der Test überarbeitet und neu validiert?
  • Daten: Wem gehören die Ergebnisse, und können Sie diese DSGVO-konform mit Ihren eigenen Leistungsdaten verknüpfen?
  • Kann ein Anbieter die ersten drei Fragen nicht konkret beantworten, wissen Sie im Grunde nicht, was Sie messen.

    Warum generische Tests oft zu kurz greifen

    Kommerzielle Assessments sind meist an breiten Populationen validiert. Daraus ergeben sich drei Probleme:

  • Die Normgruppe passt nicht. Was bei einer Bank Erfolg vorhersagt, unterscheidet sich von einem Tech-Startup oder einem Sicherheitsunternehmen. Eine Normgruppe aus Tausenden beliebigen Fachkräften sagt wenig über Ihre Rolle aus.
  • Das Modell ist statisch. Generische Tests werden alle paar Jahre aktualisiert; Ihre Positionen verändern sich laufend.
  • Einheitsgröße für alle. Derselbe Fragebogen für Entwickler, Account Manager und Kundenservice, obwohl je Rolle andere Kompetenzen den Erfolg vorhersagen.
  • Lesen Sie auch, warum generische Assessments nicht funktionieren und wie Sie unternehmensspezifische Assessments entwickeln.

    Selbst validieren: So gehen Sie vor

    Mit einem eigenen Assessment-System können Sie nachweisen, was in Ihrem Unternehmen funktioniert.

    Schritt 1: Beginnen Sie mit der Anforderungsanalyse

    Halten Sie fest, welche Aufgaben und Verhaltensweisen den Erfolg bestimmen. Das gibt Ihnen Inhaltsvalidität vom ersten Tag an, noch bevor Sie Daten haben.

    Schritt 2: Bauen Sie eigene Normgruppen auf

    Vergleichen Sie Kandidaten mit Ihren erfolgreichen Mitarbeitenden je Rolle, nicht mit dem Markt. Mehr dazu in wie Sie Ihre eigene Normgruppe aufbauen.

    Schritt 3: Verknüpfen Sie Werte mit Leistung

    Korrelieren Sie Assessment-Werte mit Beurteilungen nach 6 und 12 Monaten, Bindung und weiteren Kriterien. So sehen Sie, welche Bestandteile vorhersagen und welche Rauschen sind, und können die Gewichtung anpassen.

    Schritt 4: Seien Sie ehrlich bei Fallzahlen

    Lokale Validierung braucht Daten. Bei 60 Einstellungen ist eine gefundene Korrelation von 0,35 statistisch noch unsicher: Das 95%-Intervall reicht von etwa 0,11 bis 0,55. Rechnen Sie mit mindestens 100 bis 150 Einstellungen je Funktionsfamilie für stabile Aussagen. Bis dahin kombinieren Sie eigene Daten mit bestehender Forschung und einer gründlichen Anforderungsanalyse.

    Schritt 5: Kalibrieren Sie weiter und überwachen Sie Bias

    Wiederholen Sie die Analyse nach jeder Einstellungsrunde und prüfen Sie je Untergruppe, ob der Test gleich gut vorhersagt und niemanden ungerechtfertigt benachteiligt. So wird Ihr System mit der Zeit immer klüger, was ein Standardtest per Definition nicht kann.

    Der Unterschied in der Praxis

    AspektGenerisches AssessmentUnternehmensspezifisches Assessment

    |---|---|---|

    NormgruppeBreit, branchenübergreifendIhre Mitarbeitenden je Rolle ValiditätsnachweisStudien bei anderen UnternehmenNachweisbar mit Ihren eigenen Daten AktualisierungAlle paar JahreLaufend Bias-MonitoringGenerisch, durch den AnbieterAuf Ihre Bewerberpopulation KostenLizenz je KandidatTeil Ihres eigenen Systems DateneigentumAnbieterSie

    Häufig gestellte Fragen

    Was ist der Unterschied zwischen Validität und Reliabilität?

    Reliabilität betrifft die Konsistenz: Erhalten Sie bei Wiederholung denselben Wert? Validität betrifft die Gültigkeit: Misst der Test, was er messen soll, und sagt er die Arbeitsleistung vorher? Ein Test muss zuerst reliabel sein, um valide sein zu können.

    Wann ist ein Assessment reliabel genug?

    Für individuelle Auswahlentscheidungen gilt meist eine Reliabilität von 0,80 oder höher als Standard. Zwischen 0,70 und 0,80 ist sie als ergänzende Information brauchbar, nicht als einziges Kriterium.

    Was ist eine gute Validität für ein Assessment?

    Eine mittlere Validität von 0,30 oder höher ist in der Personalauswahl stark. Werte über 0,40 sind selten; seien Sie kritisch bei höheren Versprechen ohne zugrunde liegende Studien.

    Was ist divergente Validität?

    Divergente (oder diskriminante) Validität zeigt, dass ein Test nicht stark mit Tests zusammenhängt, die etwas anderes messen. Damit belegen Sie, dass der Test ein eigenes, klar abgegrenztes Konstrukt misst.

    Wie viele Kandidaten braucht man, um einen Test zu validieren?

    Für eine stabile lokale Validierung rechnen Sie mit mindestens 100 bis 150 Einstellungen je Funktionsfamilie. Bei kleineren Zahlen stützen Sie sich auf eine gründliche Anforderungsanalyse und bestehende Forschung zu vergleichbaren Positionen.

    Darf ich einen übersetzten Test einfach verwenden?

    Besser nicht ohne Prüfung. Eine Übersetzung kann die Bedeutung von Items verschieben. Prüfen Sie, ob die Sprachversion eigens untersucht wurde und ob es Normen für Ihr Land und Ihre Zielgruppe gibt.

    Zusammenfassung

  • Validität: Misst der Test, was er messen soll, und sagt er die Arbeitsleistung vorher?
  • Reliabilität: Liefert der Test konsistente Werte? Streben Sie 0,80 oder mehr an.
  • Lesen Sie Werte mit ihrem Messfehler: Kleine Unterschiede zwischen Kandidaten sind oft nicht real.
  • Kombinieren Sie Verfahren: Kognitive Fähigkeiten, Verhalten und strukturierte Interviews ergänzen sich.
  • Validieren Sie mit eigenen Daten: Eigene Normgruppen und laufende Kalibrierung machen ein Assessment wirklich prognostisch.
  • Möchten Sie wissen, wie valide Ihre aktuellen Assessments sind, oder ein Assessment entwickeln lassen, das nachweislich vorhersagt, wer erfolgreich wird? Sehen Sie sich an, wie wir maßgeschneiderte Assessments entwickeln, lesen Sie, wie unser AI Hiring System Validierung in den Prozess einbaut, oder nehmen Sie Kontakt auf.


    Erstgespräch vereinbaren · Unser AI Hiring System ansehen