Hoe herken je een goede AI-consultant? 10 vragen die jargon van kunde scheiden
AI-consultant inhuren? Zo herken je een goede AI-consultant: 8 vaardigheden, rode vlaggen, 10 interviewvragen en een praktijktest met rubric.
Door Ingmar van Maurik · Founder & CEO, Making Moves
Kort antwoord
Een goede AI-consultant herken je niet aan een demo of aan jargon, maar aan wat iemand aantoonbaar kan: beginnen bij het bedrijfsproces, keuzes onderbouwen met metingen, risico's benoemen en een systeem opleveren dat jij zelf kunt beheren. Je test dat het best met gerichte vragen over wat er misgaat en een korte praktijkcase waarin de consultant zijn of haar ontwerp moet verdedigen.
Waarom het nu lastig is
Veel mensen noemen zich sinds kort AI-consultant. Op een cv of LinkedIn-profiel zie je nauwelijks wie er jaren ervaring heeft en wie een paar maanden.
Daar komt bij: een demo is makkelijk, productie is moeilijk. Een chatbot die in een presentatie vijf vragen goed beantwoordt, bouw je in een middag. Een systeem dat duizenden echte vragen verwerkt, met klantdata, wisselende input, storingen bij externe diensten en kosten per gesprek, is een ander vak. Die vaardigheden zie je niet in een demo. Je moet er gericht naar vragen.
Wat een goede AI-consultant aantoonbaar kan
|---|---|
Rode vlaggen
10 interviewvragen die jargon van kunde scheiden
Stel deze vragen in een vaste volgorde en noteer per vraag wat er in het antwoord zit. Hoe je zo'n gesprek structureert, lees je in competentietest bij werving.
1. "Welk proces zou je als eerste aanpakken, en hoe weet je na drie maanden of het iets heeft opgeleverd?" Sterk antwoord: vraagt eerst naar volumes, doorlooptijden en foutkosten, en noemt een nulmeting en een meetbaar doel.
2. "Onze bestel-API geeft HTTP 429 terug. Onze supportagent blijft opnieuw proberen en zegt daarna tegen de klant dat de bestelling bevestigd is. Wat ging er mis en hoe los je het op?" Sterk antwoord: 429 betekent te veel verzoeken. Nodig zijn een begrensd aantal pogingen met wachttijd, een time-out, en vooral: de agent mag alleen bevestigen op basis van een echt succesantwoord van het systeem. Anders meldt hij eerlijk dat het niet gelukt is en draagt over aan een mens.
3. "Hoe voorkom je dat een cv met verborgen instructies een agent kandidaatgegevens naar buiten laat sturen?" Sterk antwoord: input uit documenten behandelen als data, niet als opdracht. De agent die cv's leest, heeft geen tool om extern te mailen of te uploaden. Uitgaande acties gaan via een allowlist en menselijke goedkeuring.
4. "Hoe meet je of de nieuwe modelversie beter is dan de oude?" Sterk antwoord: dezelfde evaluatieset met echte, gelabelde voorbeelden op beide versies draaien, inclusief kosten en snelheid, met vooraf vastgelegde criteria.
5. "Een medewerker vraagt de interne assistent naar salarissen en krijgt een antwoord uit een HR-document. Hoe had je dat voorkomen?" Sterk antwoord: rechten filteren bij het ophalen van documenten, op basis van wie de vraag stelt, niet achteraf in de prompt.
6. "Hoe kies je tussen een groot en een klein model voor deze taak?" Sterk antwoord: beide meten op dezelfde set, op kwaliteit, kosten per taak, snelheid en waar de data heen gaat.
7. "Wat kost dit systeem per maand bij 20.000 gesprekken?" Sterk antwoord: rekent hardop met tokens per gesprek, prijs per token en caching, en noemt de grootste onzekerheid.
8. "Welke acties mag de agent zelf uitvoeren en welke niet?" Sterk antwoord: lezen en voorbereiden mag, onomkeerbare acties zoals betalen, verwijderen of extern versturen vragen menselijke goedkeuring.
9. "Hoe ontdek je dat het systeem na een maand slechter is gaan werken?" Sterk antwoord: tracing van elke stap, monitoring op kwaliteit en kosten, regressietests bij elke wijziging en een vaste steekproef.
10. "Wat krijgen wij bij oplevering, en wat moeten we zelf kunnen?" Sterk antwoord: code, prompts, evaluatiesets en documentatie in jouw omgeving, plus een overdracht waarmee jouw team het kan aanpassen. Noemt ook AVG en of de EU AI Act van toepassing is.
Let op: een antwoord dat goed klinkt maar geen enkel concreet detail bevat, is een reden om door te vragen. "Kun je een voorbeeld geven?" scheidt snel ervaring van jargon.
Een praktijktest die je zelf kunt doen
Scoor met een rubric van vijf criteria, elk 0 tot 4:
|---|---|---|---|
Een belangrijke kanttekening: een verschil tussen wat iemand claimt en wat iemand laat zien, is een reden voor vervolgvragen, geen bewijs van bluffen. Bespreek het verschil open.
Meer over het meten van AI-vaardigheden in het algemeen lees je in hoe je AI-vaardigheden beoordeelt.
Het Making Moves AI Consultant & Architect Assessment
Wil je dit niet zelf opzetten? Het AI Consultant & Architect Assessment combineert kennisvragen, beslisscenario's, een praktijkcase waarin AI-gebruik is toegestaan en een gestructureerd verificatie-interview waarin de consultant de architectuur verdedigt. Eerlijk is eerlijk: het assessment zit in een pilotfase. Het is nog geen gevalideerde, genormeerde test. Gebruik de uitkomst daarom als gestructureerde input voor je beslissing, naast referenties en eerdere projecten.
Veelgestelde vragen
Waar let ik op als ik een AI-consultant inhuur?
Op aantoonbare ervaring met systemen in productie, een evaluatieplan, aandacht voor veiligheid en rechten, een kostenschatting per maand en afspraken over eigendom van code en data.
Is een certificaat genoeg bewijs?
Nee. Een certificaat toont kennis. Of iemand die kennis in jouw situatie toepast, test je met scenariovragen en een praktijkcase.
Mag de consultant AI gebruiken tijdens de test?
Ja, als dat in het echte werk ook zo is. Je beoordeelt dan niet of iemand alles uit het hoofd weet, maar of iemand goede keuzes maakt en die kan verdedigen.
Werkt deze aanpak ook voor AI-engineers en implementatiepartners?
Ja. Pas de case aan op de rol: meer bouwwerk voor engineers, meer proces en governance voor partners die een heel traject leiden.
Samenvatting
Wil je AI-consultants of AI-engineers gestructureerd beoordelen? Bekijk het AI Skills Assessment of neem contact op.