AI in Hiring · 9 min leestijd

AI-vaardigheden testen: zo meet je wat iemand echt kan met AI

Hoe test je AI-vaardigheden? Waarom een kennisquiz niet genoeg is, vier meetmethoden met voorbeelden, een scoringsmodel en waar je juridisch op let.

Door Ingmar van Maurik · Founder & CEO, Making Moves


Kort antwoord

AI-vaardigheden test je niet met een kennisquiz alleen. Een goede test combineert vier methoden: kennisvragen, situational judgement scenario's, een praktijkopdracht waarin AI gebruiken mag, en een verificatiegesprek waarin de kandidaat de eigen keuzes uitlegt. Weeg het praktijkdeel het zwaarst, stel een veiligheidsdrempel in voor gevaarlijke handelingen en laat altijd een mens de beslissing nemen.

Wat bedoelen we met AI-vaardigheden?

Wat iemand met AI moet kunnen, verschilt sterk per rol. Wij onderscheiden drie niveaus:

NiveauTypische rolWat iemand moet kunnen

|---|---|---|

AI-gebruikerMedewerker, recruiter, marketeerHet juiste hulpmiddel kiezen, goed prompten, output controleren, geen gevoelige data delen Bouwer (automatisering)Ontwikkelaar, operations, data-analistWorkflows en agents bouwen, RAG opzetten, API's koppelen, fouten afvangen, testen Consultant of architectCTO, solution architect, AI-leadUse cases kiezen, kosten en risico's afwegen, evaluatie en governance inrichten, architectuur ontwerpen

Daaronder liggen concrete domeinen: modelkeuze, prompting, verificatie van output, RAG (AI laten werken met eigen documenten), AI-agents, integraties, beveiliging, evaluatie, kosten, governance en bedrijfsarchitectuur. Niet elke rol heeft ze allemaal nodig.

Waarom zelfrapportage en cv-trefwoorden tekortschieten

"ChatGPT", "prompt engineering" en "AI-agents" staan inmiddels op veel cv's. Dat zegt iets over interesse en ervaring, maar weinig over niveau. Er zit vaak verschil tussen wat iemand denkt te kunnen (geclaimde vaardigheid) en wat iemand laat zien in een opdracht (aangetoonde vaardigheid).

Dat verschil betekent niet dat iemand bluft. Er zijn gewone verklaringen:

  • Zelfinschatting is lastig. In een nieuw vakgebied weet je vaak nog niet wat je niet weet.
  • Testomstandigheden verschillen. In het werk heb je tijd, collega's en je eigen tools. In een test vaak niet.
  • Elke meting bevat meetfout. Ook een goede test geeft een schatting, geen exact getal.
  • De les: vertrouw niet op één bron. Meet gedrag en vraag door.

    Vier methoden om AI-vaardigheden te meten

    1. Kennisvragen

    Kennisvragen toetsen of iemand de basisbegrippen en principes kent. Ze zijn snel en objectief te scoren, maar laten niet zien of iemand die kennis ook toepast.

    Voorbeeld: "Een team wil dat een AI-assistent vragen beantwoordt op basis van 2.000 interne beleidsdocumenten. Welke aanpak past het best? A) Alle documenten in elke prompt plakken. B) Een RAG-opzet die relevante passages ophaalt en de bron toont. C) Het model vragen het beleid te onthouden. D) Een groter model kiezen."

    2. Situational judgement scenario's

    Een situational judgement test legt een realistische werksituatie voor en vraagt welke reactie het beste is. Zo meet je oordeelsvermogen: weet iemand wat te doen als AI iets fout doet?

    Voorbeeld: "Je vraagt een AI-assistent om cijfers voor een presentatie aan de directie. Het antwoord bevat een overtuigend percentage over klantvoorkeuren, zonder bron. Wat doe je het beste?" De sterkste reactie: het cijfer niet gebruiken totdat je een betrouwbare primaire bron hebt gevonden, en het anders weglaten. Zwak is het cijfer overnemen omdat het plausibel klinkt, of de AI vragen "klopt dit?" en het antwoord als bevestiging zien.

    3. Praktijkopdracht waarin AI mag

    Je verbiedt AI niet, je laat het juist gebruiken, want in het werk mag het ook. Je scoort twee dingen: het resultaat (werkt het, klopt het, is het veilig) en het proces (welke keuzes maakt iemand, wordt de output gecontroleerd, wat gebeurt er als iets misgaat).

    Voorbeeld: De kandidaat krijgt de logs van een AI-supportagent. De agent roept een bestel-API aan die steeds HTTP 429 teruggeeft (te veel verzoeken). De agent probeert het direct opnieuw, tientallen keren, en zegt daarna tegen de klant: "Uw bestelling is bevestigd." Opdracht: wat gaat er mis en hoe los je het op?

    Een sterke uitwerking benoemt:

  • De oorzaak: 429 betekent dat een limiet is bereikt. Direct opnieuw proberen maakt het erger.
  • Retries met backoff: wachten met oplopende tussenpozen en wat willekeur, een maximum aantal pogingen, de Retry-After header respecteren en voorkomen dat een herhaald verzoek tot een dubbele bestelling leidt.
  • Een veilige fallback: de agent bevestigt alleen als de API echt succes teruggeeft. Anders meldt de agent eerlijk dat de bestelling nog niet is verwerkt, of zet het gesprek door naar een medewerker.
  • Monitoring: meldingen bij veel 429-fouten en bij bevestigingen zonder succesvolle API-respons.
  • Regressietests: een test die een 429 simuleert en controleert dat de agent dan nooit een bevestiging geeft.
  • 4. Gestructureerd verificatiegesprek

    Tot slot verdedigt de kandidaat de eigen keuzes in een kort gesprek met vaste vragen en een scoringsrubric. Dit laat zien of iemand begrijpt wat er is gemaakt, ook als AI daarbij heeft geholpen.

    Voorbeeld: "Je agent kan facturen betalen. Hij staat op het punt 4.800 euro over te maken naar een rekeningnummer dat gisteren via e-mail is gewijzigd. Wat had je ingebouwd, en waarom?" Je let op menselijke goedkeuring boven een drempelbedrag, controle van gewijzigde betaalgegevens via een tweede kanaal, beperkte rechten voor de agent en logging.

    Een eenvoudig scoringsmodel

    OnderdeelGewichtWat het laat zien

    |---|---|---|

    Kennisvragen25%Begrippen en principes Scenario's25%Oordeel in realistische situaties Praktijk (opdracht plus verificatiegesprek)50%Wat iemand echt kan en begrijpt

    Voeg daar een veiligheidsdrempel aan toe. Doet iemand in de opdracht iets gevaarlijks, zoals persoonsgegevens naar een niet-goedgekeurde externe tool sturen of een agent laten betalen zonder controle, dan geldt een maximaal niveau, ongeacht de totaalscore. Een hoge kennisscore compenseert geen risicovol gedrag in de praktijk.

    Werk met niveaus of scorebanden in plaats van exacte punten. Kleine verschillen tussen kandidaten vallen binnen de meetfout. Lees meer in wat een assessment valide en betrouwbaar maakt.

    Waar je juridisch op let

  • AVG artikel 22. Een afwijzing mag niet uitsluitend op geautomatiseerde verwerking berusten als dat de kandidaat aanmerkelijk treft. Laat een mens de uitslag beoordelen en de beslissing nemen.
  • EU AI Act. AI-systemen die worden gebruikt om kandidaten te beoordelen of te selecteren, zijn hoog risico volgens bijlage III. Na de Digital Omnibus (Verordening (EU) 2026/1744) gelden die verplichtingen vanaf 2 december 2027. Gebruik je AI om antwoorden te scoren, dan kan dit ook voor jouw toepassing gelden. Welke plichten precies gelden, hangt af van of je aanbieder of gebruiker van het systeem bent.
  • Validatie en eerlijkheid. Laat zien dat de test meet wat in de functie nodig is en monitor uitkomsten per groep. Een opdracht die vooral snel typen of Engelse vaktaal beloont, meet iets anders dan AI-vaardigheid. Leg vooraf uit wat je meet en wanneer AI-gebruik is toegestaan.
  • Zo begin je

    1. Doe een functieanalyse per rol. Wat moet een recruiter met AI kunnen, en wat een ontwikkelaar?

    2. Kies vier tot zes domeinen. Voor een AI-gebruiker bijvoorbeeld prompting, verificatie, beveiliging en kosten.

    3. Draai een pilot. Test met medewerkers van wie je het niveau kent. Kijk of de opdrachten helder zijn en of beoordelaars het met elkaar eens zijn.

    4. Vergelijk met prestaties. Volg na een paar maanden of de scores samenhangen met hoe mensen het in het werk doen.

    Meer over meten op gedrag lees je in competentietest bij werving.

    Over de Making Moves AI Skills Assessment

    Wij ontwikkelen de Making Moves AI Skills Assessment volgens deze opzet: kennis, scenario's en praktijk over de domeinen hierboven. Het assessment zit in een pilotfase. Het is nog geen gevalideerde, genormeerde selectietest. Gebruik de uitkomst daarom als input voor een gesprek of ontwikkelplan, niet als enige basis voor een selectiebeslissing.

    Veelgestelde vragen

    Is een AI-kennistest genoeg om AI-vaardigheden te meten?

    Nee. Kennis is een voorwaarde, maar zegt weinig over toepassing. Combineer kennisvragen met scenario's, een praktijkopdracht en een verificatiegesprek.

    Mag een kandidaat AI gebruiken tijdens de test?

    In het praktijkdeel wel. Je meet juist hoe iemand AI inzet, controleert en bijstuurt. Bij kennisvragen kun je AI beter uitsluiten, zodat je de eigen kennis meet. Leg vooraf duidelijk uit wat mag.

    Kun je ook bestaande medewerkers testen?

    Ja. Bij medewerkers is het doel meestal ontwikkeling: zien waar iemand staat en welke training past. Wees open over het doel en over wat er met de uitkomst gebeurt. Betrek bij een organisatiebrede meting de ondernemingsraad.

    Valt een test van AI-vaardigheden onder de AI Act?

    Een test over AI is niet automatisch een AI-systeem. Gebruik je wel AI om kandidaten te beoordelen of te selecteren, bijvoorbeeld voor automatische scoring, dan is dat hoog risico onder bijlage III, met verplichtingen vanaf 2 december 2027.

    Samenvatting

  • Een kennisquiz is niet genoeg: meet wat iemand met AI doet, niet alleen wat iemand weet.
  • Verschil tussen geclaimde en aangetoonde vaardigheid is normaal en betekent niet dat iemand bluft.
  • Combineer kennisvragen, scenario's, een praktijkopdracht met AI en een verificatiegesprek.
  • Weeg de praktijk het zwaarst en gebruik een veiligheidsdrempel voor gevaarlijke handelingen.
  • Houd rekening met AVG artikel 22 en de AI Act: een mens beslist.
  • Benieuwd waar jij of je team staat? Doe de gratis AI Skills Check of neem contact op als je AI-vaardigheden in je organisatie wilt meten.


    Plan intake gesprek · Bekijk ons AI Hiring Systeem