AI-vaardigheden testen: zo meet je wat iemand echt kan met AI
Hoe test je AI-vaardigheden? Waarom een kennisquiz niet genoeg is, vier meetmethoden met voorbeelden, een scoringsmodel en waar je juridisch op let.
Door Ingmar van Maurik · Founder & CEO, Making Moves
Kort antwoord
AI-vaardigheden test je niet met een kennisquiz alleen. Een goede test combineert vier methoden: kennisvragen, situational judgement scenario's, een praktijkopdracht waarin AI gebruiken mag, en een verificatiegesprek waarin de kandidaat de eigen keuzes uitlegt. Weeg het praktijkdeel het zwaarst, stel een veiligheidsdrempel in voor gevaarlijke handelingen en laat altijd een mens de beslissing nemen.
Wat bedoelen we met AI-vaardigheden?
Wat iemand met AI moet kunnen, verschilt sterk per rol. Wij onderscheiden drie niveaus:
|---|---|---|
Daaronder liggen concrete domeinen: modelkeuze, prompting, verificatie van output, RAG (AI laten werken met eigen documenten), AI-agents, integraties, beveiliging, evaluatie, kosten, governance en bedrijfsarchitectuur. Niet elke rol heeft ze allemaal nodig.
Waarom zelfrapportage en cv-trefwoorden tekortschieten
"ChatGPT", "prompt engineering" en "AI-agents" staan inmiddels op veel cv's. Dat zegt iets over interesse en ervaring, maar weinig over niveau. Er zit vaak verschil tussen wat iemand denkt te kunnen (geclaimde vaardigheid) en wat iemand laat zien in een opdracht (aangetoonde vaardigheid).
Dat verschil betekent niet dat iemand bluft. Er zijn gewone verklaringen:
De les: vertrouw niet op één bron. Meet gedrag en vraag door.
Vier methoden om AI-vaardigheden te meten
1. Kennisvragen
Kennisvragen toetsen of iemand de basisbegrippen en principes kent. Ze zijn snel en objectief te scoren, maar laten niet zien of iemand die kennis ook toepast.
Voorbeeld: "Een team wil dat een AI-assistent vragen beantwoordt op basis van 2.000 interne beleidsdocumenten. Welke aanpak past het best? A) Alle documenten in elke prompt plakken. B) Een RAG-opzet die relevante passages ophaalt en de bron toont. C) Het model vragen het beleid te onthouden. D) Een groter model kiezen."
2. Situational judgement scenario's
Een situational judgement test legt een realistische werksituatie voor en vraagt welke reactie het beste is. Zo meet je oordeelsvermogen: weet iemand wat te doen als AI iets fout doet?
Voorbeeld: "Je vraagt een AI-assistent om cijfers voor een presentatie aan de directie. Het antwoord bevat een overtuigend percentage over klantvoorkeuren, zonder bron. Wat doe je het beste?" De sterkste reactie: het cijfer niet gebruiken totdat je een betrouwbare primaire bron hebt gevonden, en het anders weglaten. Zwak is het cijfer overnemen omdat het plausibel klinkt, of de AI vragen "klopt dit?" en het antwoord als bevestiging zien.
3. Praktijkopdracht waarin AI mag
Je verbiedt AI niet, je laat het juist gebruiken, want in het werk mag het ook. Je scoort twee dingen: het resultaat (werkt het, klopt het, is het veilig) en het proces (welke keuzes maakt iemand, wordt de output gecontroleerd, wat gebeurt er als iets misgaat).
Voorbeeld: De kandidaat krijgt de logs van een AI-supportagent. De agent roept een bestel-API aan die steeds HTTP 429 teruggeeft (te veel verzoeken). De agent probeert het direct opnieuw, tientallen keren, en zegt daarna tegen de klant: "Uw bestelling is bevestigd." Opdracht: wat gaat er mis en hoe los je het op?
Een sterke uitwerking benoemt:
4. Gestructureerd verificatiegesprek
Tot slot verdedigt de kandidaat de eigen keuzes in een kort gesprek met vaste vragen en een scoringsrubric. Dit laat zien of iemand begrijpt wat er is gemaakt, ook als AI daarbij heeft geholpen.
Voorbeeld: "Je agent kan facturen betalen. Hij staat op het punt 4.800 euro over te maken naar een rekeningnummer dat gisteren via e-mail is gewijzigd. Wat had je ingebouwd, en waarom?" Je let op menselijke goedkeuring boven een drempelbedrag, controle van gewijzigde betaalgegevens via een tweede kanaal, beperkte rechten voor de agent en logging.
Een eenvoudig scoringsmodel
|---|---|---|
Voeg daar een veiligheidsdrempel aan toe. Doet iemand in de opdracht iets gevaarlijks, zoals persoonsgegevens naar een niet-goedgekeurde externe tool sturen of een agent laten betalen zonder controle, dan geldt een maximaal niveau, ongeacht de totaalscore. Een hoge kennisscore compenseert geen risicovol gedrag in de praktijk.
Werk met niveaus of scorebanden in plaats van exacte punten. Kleine verschillen tussen kandidaten vallen binnen de meetfout. Lees meer in wat een assessment valide en betrouwbaar maakt.
Waar je juridisch op let
Zo begin je
1. Doe een functieanalyse per rol. Wat moet een recruiter met AI kunnen, en wat een ontwikkelaar?
2. Kies vier tot zes domeinen. Voor een AI-gebruiker bijvoorbeeld prompting, verificatie, beveiliging en kosten.
3. Draai een pilot. Test met medewerkers van wie je het niveau kent. Kijk of de opdrachten helder zijn en of beoordelaars het met elkaar eens zijn.
4. Vergelijk met prestaties. Volg na een paar maanden of de scores samenhangen met hoe mensen het in het werk doen.
Meer over meten op gedrag lees je in competentietest bij werving.
Over de Making Moves AI Skills Assessment
Wij ontwikkelen de Making Moves AI Skills Assessment volgens deze opzet: kennis, scenario's en praktijk over de domeinen hierboven. Het assessment zit in een pilotfase. Het is nog geen gevalideerde, genormeerde selectietest. Gebruik de uitkomst daarom als input voor een gesprek of ontwikkelplan, niet als enige basis voor een selectiebeslissing.
Veelgestelde vragen
Is een AI-kennistest genoeg om AI-vaardigheden te meten?
Nee. Kennis is een voorwaarde, maar zegt weinig over toepassing. Combineer kennisvragen met scenario's, een praktijkopdracht en een verificatiegesprek.
Mag een kandidaat AI gebruiken tijdens de test?
In het praktijkdeel wel. Je meet juist hoe iemand AI inzet, controleert en bijstuurt. Bij kennisvragen kun je AI beter uitsluiten, zodat je de eigen kennis meet. Leg vooraf duidelijk uit wat mag.
Kun je ook bestaande medewerkers testen?
Ja. Bij medewerkers is het doel meestal ontwikkeling: zien waar iemand staat en welke training past. Wees open over het doel en over wat er met de uitkomst gebeurt. Betrek bij een organisatiebrede meting de ondernemingsraad.
Valt een test van AI-vaardigheden onder de AI Act?
Een test over AI is niet automatisch een AI-systeem. Gebruik je wel AI om kandidaten te beoordelen of te selecteren, bijvoorbeeld voor automatische scoring, dan is dat hoog risico onder bijlage III, met verplichtingen vanaf 2 december 2027.
Samenvatting
Benieuwd waar jij of je team staat? Doe de gratis AI Skills Check of neem contact op als je AI-vaardigheden in je organisatie wilt meten.