AI in Hiring · 9 min leestijd

Hoe herken je een goede AI-consultant? 10 vragen die jargon van kunde scheiden

AI-consultant inhuren? Zo herken je een goede AI-consultant: 8 vaardigheden, rode vlaggen, 10 interviewvragen en een praktijktest met rubric.

Door Ingmar van Maurik · Founder & CEO, Making Moves


Kort antwoord

Een goede AI-consultant herken je niet aan een demo of aan jargon, maar aan wat iemand aantoonbaar kan: beginnen bij het bedrijfsproces, keuzes onderbouwen met metingen, risico's benoemen en een systeem opleveren dat jij zelf kunt beheren. Je test dat het best met gerichte vragen over wat er misgaat en een korte praktijkcase waarin de consultant zijn of haar ontwerp moet verdedigen.

Waarom het nu lastig is

Veel mensen noemen zich sinds kort AI-consultant. Op een cv of LinkedIn-profiel zie je nauwelijks wie er jaren ervaring heeft en wie een paar maanden.

Daar komt bij: een demo is makkelijk, productie is moeilijk. Een chatbot die in een presentatie vijf vragen goed beantwoordt, bouw je in een middag. Een systeem dat duizenden echte vragen verwerkt, met klantdata, wisselende input, storingen bij externe diensten en kosten per gesprek, is een ander vak. Die vaardigheden zie je niet in een demo. Je moet er gericht naar vragen.

Wat een goede AI-consultant aantoonbaar kan

VaardigheidWaar je om vraagt als bewijs

|---|---|

Begint bij het bedrijfsproces en de opbrengst, niet bij het modelEen eerder project met een vooraf gemeten uitgangssituatie en een doel in tijd, geld of kwaliteit Kiest modellen op kwaliteit, kosten, snelheid en privacyEen evaluatieset met echte voorbeelden en de vergelijking die tot de keuze leidde Ontwerpt retrieval (RAG) met filtering op rechtenUitleg hoe een medewerker alleen documenten te zien krijgt waar hij of zij toegang toe heeft Ontwerpt agents veiligMinimale rechten per tool, menselijke goedkeuring voor onomkeerbare acties, time-outs en een terugvaloptie Kent prompt injection en gegevensbeschermingConcrete maatregelen tegen verborgen instructies in documenten, e-mails of webpagina's Bouwt evaluaties, tracing en regressietestsEen voorbeeld van een testset die bij elke wijziging opnieuw draait, en logs waarmee een fout terug te vinden is Schat lopende kosten inEen berekening van tokens per taak, volumes per maand en het effect van caching Regelt governance en overdrachtAandacht voor AVG, de EU AI Act, documentatie en een plan waarmee jij eigenaar wordt van code, data en prompts

Rode vlaggen

  • Alleen een chatbotdemo. Geen voorbeeld van iets dat al maanden in gebruik is.
  • Geen evaluatieplan. "We testen het gewoon" zonder testset, criteria of meetmoment.
  • "100% nauwkeurig" beloven. Taalmodellen maken fouten. Een goede consultant zegt hoe je ze opvangt.
  • Geen antwoord op storingen. Kan niet uitleggen wat er gebeurt als een API niet reageert of een limiet bereikt.
  • Lock-in zonder data-eigendom. Alles draait op het eigen platform van de consultant, zonder export van data, prompts en configuratie.
  • Geen idee van de maandkosten. Geen schatting van wat het systeem bij jouw volume per maand kost.
  • 10 interviewvragen die jargon van kunde scheiden

    Stel deze vragen in een vaste volgorde en noteer per vraag wat er in het antwoord zit. Hoe je zo'n gesprek structureert, lees je in competentietest bij werving.

    1. "Welk proces zou je als eerste aanpakken, en hoe weet je na drie maanden of het iets heeft opgeleverd?" Sterk antwoord: vraagt eerst naar volumes, doorlooptijden en foutkosten, en noemt een nulmeting en een meetbaar doel.

    2. "Onze bestel-API geeft HTTP 429 terug. Onze supportagent blijft opnieuw proberen en zegt daarna tegen de klant dat de bestelling bevestigd is. Wat ging er mis en hoe los je het op?" Sterk antwoord: 429 betekent te veel verzoeken. Nodig zijn een begrensd aantal pogingen met wachttijd, een time-out, en vooral: de agent mag alleen bevestigen op basis van een echt succesantwoord van het systeem. Anders meldt hij eerlijk dat het niet gelukt is en draagt over aan een mens.

    3. "Hoe voorkom je dat een cv met verborgen instructies een agent kandidaatgegevens naar buiten laat sturen?" Sterk antwoord: input uit documenten behandelen als data, niet als opdracht. De agent die cv's leest, heeft geen tool om extern te mailen of te uploaden. Uitgaande acties gaan via een allowlist en menselijke goedkeuring.

    4. "Hoe meet je of de nieuwe modelversie beter is dan de oude?" Sterk antwoord: dezelfde evaluatieset met echte, gelabelde voorbeelden op beide versies draaien, inclusief kosten en snelheid, met vooraf vastgelegde criteria.

    5. "Een medewerker vraagt de interne assistent naar salarissen en krijgt een antwoord uit een HR-document. Hoe had je dat voorkomen?" Sterk antwoord: rechten filteren bij het ophalen van documenten, op basis van wie de vraag stelt, niet achteraf in de prompt.

    6. "Hoe kies je tussen een groot en een klein model voor deze taak?" Sterk antwoord: beide meten op dezelfde set, op kwaliteit, kosten per taak, snelheid en waar de data heen gaat.

    7. "Wat kost dit systeem per maand bij 20.000 gesprekken?" Sterk antwoord: rekent hardop met tokens per gesprek, prijs per token en caching, en noemt de grootste onzekerheid.

    8. "Welke acties mag de agent zelf uitvoeren en welke niet?" Sterk antwoord: lezen en voorbereiden mag, onomkeerbare acties zoals betalen, verwijderen of extern versturen vragen menselijke goedkeuring.

    9. "Hoe ontdek je dat het systeem na een maand slechter is gaan werken?" Sterk antwoord: tracing van elke stap, monitoring op kwaliteit en kosten, regressietests bij elke wijziging en een vaste steekproef.

    10. "Wat krijgen wij bij oplevering, en wat moeten we zelf kunnen?" Sterk antwoord: code, prompts, evaluatiesets en documentatie in jouw omgeving, plus een overdracht waarmee jouw team het kan aanpassen. Noemt ook AVG en of de EU AI Act van toepassing is.

    Let op: een antwoord dat goed klinkt maar geen enkel concreet detail bevat, is een reden om door te vragen. "Kun je een voorbeeld geven?" scheidt snel ervaring van jargon.

    Een praktijktest die je zelf kunt doen

  • Opdracht (60 tot 90 minuten). Geef een realistische situatie uit je eigen organisatie, bijvoorbeeld een supportproces dat deels geautomatiseerd moet worden. Vraag om een architectuurschets, een keuze voor model en retrieval, een evaluatieplan, risico's en een kostenschatting. AI-gebruik is toegestaan, zoals in het echte werk.
  • Verdediging (20 minuten). De consultant licht het ontwerp toe. Jij stelt vervolgvragen: wat gebeurt er bij een time-out, waarom dit model, wie mag wat, hoe meet je succes?
  • Scoor met een rubric van vijf criteria, elk 0 tot 4:

    Criterium024

    |---|---|---|---|

    Probleem en opbrengstBegint bij de technologieNoemt een doel, maar niet meetbaarMeetbaar doel en nulmeting Architectuur en keuzesGeen onderbouwingOnderbouwing op één factorAfweging van kwaliteit, kosten, snelheid en privacy Veiligheid en rechtenNiet genoemdAlgemeen genoemdConcrete maatregelen per tool en databron Evaluatie en beheerGeen planTesten genoemd, geen setEvaluatieset, tracing en regressietests VerdedigingKan eigen ontwerp niet uitleggenLegt uit, maar wankelt bij vervolgvragenLegt uit, erkent zwaktes en past aan

    Een belangrijke kanttekening: een verschil tussen wat iemand claimt en wat iemand laat zien, is een reden voor vervolgvragen, geen bewijs van bluffen. Bespreek het verschil open.

    Meer over het meten van AI-vaardigheden in het algemeen lees je in hoe je AI-vaardigheden beoordeelt.

    Het Making Moves AI Consultant & Architect Assessment

    Wil je dit niet zelf opzetten? Het AI Consultant & Architect Assessment combineert kennisvragen, beslisscenario's, een praktijkcase waarin AI-gebruik is toegestaan en een gestructureerd verificatie-interview waarin de consultant de architectuur verdedigt. Eerlijk is eerlijk: het assessment zit in een pilotfase. Het is nog geen gevalideerde, genormeerde test. Gebruik de uitkomst daarom als gestructureerde input voor je beslissing, naast referenties en eerdere projecten.

    Veelgestelde vragen

    Waar let ik op als ik een AI-consultant inhuur?

    Op aantoonbare ervaring met systemen in productie, een evaluatieplan, aandacht voor veiligheid en rechten, een kostenschatting per maand en afspraken over eigendom van code en data.

    Is een certificaat genoeg bewijs?

    Nee. Een certificaat toont kennis. Of iemand die kennis in jouw situatie toepast, test je met scenariovragen en een praktijkcase.

    Mag de consultant AI gebruiken tijdens de test?

    Ja, als dat in het echte werk ook zo is. Je beoordeelt dan niet of iemand alles uit het hoofd weet, maar of iemand goede keuzes maakt en die kan verdedigen.

    Werkt deze aanpak ook voor AI-engineers en implementatiepartners?

    Ja. Pas de case aan op de rol: meer bouwwerk voor engineers, meer proces en governance voor partners die een heel traject leiden.

    Samenvatting

  • Beoordeel een AI-consultant op wat aantoonbaar is, niet op demo's of jargon.
  • Vraag naar evaluatie, rechten, storingen, kosten en overdracht.
  • Gebruik vaste vragen en noteer wat er in elk antwoord zit.
  • Laat een praktijkcase met verdediging doen en scoor met een rubric.
  • Zie verschillen tussen claim en prestatie als aanleiding voor vervolgvragen, niet als bewijs.
  • Wil je AI-consultants of AI-engineers gestructureerd beoordelen? Bekijk het AI Skills Assessment of neem contact op.


    Plan intake gesprek · Bekijk ons AI Hiring Systeem