AI im Recruiting · 9 min Lesezeit

Gute KI-Berater erkennen: 10 Fragen, die Fachwissen von Jargon trennen

So erkennen Sie gute KI-Berater: 8 nachweisbare Fähigkeiten, Warnsignale, 10 Interviewfragen und ein Praxistest mit Bewertungsrubrik für Ihre Auswahl.

Door Ingmar van Maurik · Founder & CEO, Making Moves


Kurze Antwort

Gute KI-Berater erkennen Sie nicht an einer Demo oder an Fachjargon, sondern daran, was jemand nachweislich kann: beim Geschäftsprozess ansetzen, Entscheidungen mit Messungen begründen, Risiken benennen und ein System liefern, das Sie selbst betreiben können. Am besten prüfen Sie das mit gezielten Fragen dazu, was schiefgehen kann, und einem kurzen Praxisfall, in dem die Beraterin oder der Berater das eigene Design verteidigt.

Warum es gerade jetzt schwierig ist

Viele Menschen nennen sich seit Kurzem KI-Berater. Im Lebenslauf oder auf LinkedIn sieht man kaum, wer jahrelange Erfahrung hat und wer einige Monate.

Dazu kommt: Eine Demo ist einfach, der Produktivbetrieb ist schwer. Einen Chatbot, der in einer Präsentation fünf Fragen gut beantwortet, baut man an einem Nachmittag. Ein System, das Tausende echte Anfragen verarbeitet, mit Kundendaten, unvorhersehbaren Eingaben, Ausfällen externer Dienste und Kosten pro Gespräch, ist ein anderes Handwerk. Diese Fähigkeiten sieht man in keiner Demo. Sie müssen gezielt danach fragen.

Was gute KI-Berater nachweislich können

FähigkeitWelchen Nachweis Sie verlangen

|---|---|

Setzt beim Geschäftsprozess und Nutzen an, nicht beim ModellEin früheres Projekt mit gemessener Ausgangslage und einem Ziel in Zeit, Geld oder Qualität Wählt Modelle nach Qualität, Kosten, Latenz und DatenschutzEin Evaluationsset mit echten Beispielen und der Vergleich, der zur Wahl geführt hat Entwirft Retrieval (RAG) mit RechtefilterungEine Erklärung, wie Mitarbeitende nur Dokumente sehen, auf die sie Zugriff haben Entwirft Agenten sicherMinimale Rechte pro Tool, menschliche Freigabe für unumkehrbare Aktionen, Timeouts und ein Fallback Kennt Prompt Injection und DatenschutzKonkrete Maßnahmen gegen versteckte Anweisungen in Dokumenten, E-Mails oder Webseiten Baut Evaluationen, Tracing und RegressionstestsEin Beispiel für ein Testset, das bei jeder Änderung neu läuft, und Logs, mit denen sich Fehler nachverfolgen lassen Schätzt die laufenden KostenEine Berechnung von Tokens pro Aufgabe, Monatsvolumen und dem Effekt von Caching Plant Governance und ÜbergabeBerücksichtigung von DSGVO, EU AI Act, Dokumentation und ein Plan, mit dem Sie Eigentümer von Code, Daten und Prompts werden

Warnsignale

  • Nur eine Chatbot-Demo. Kein Beispiel für etwas, das seit Monaten im Einsatz ist.
  • Kein Evaluationsplan. "Wir testen das einfach" ohne Testset, Kriterien oder Messzeitpunkt.
  • "100 % genau" versprechen. Sprachmodelle machen Fehler. Gute Berater sagen Ihnen, wie man sie abfängt.
  • Keine Antwort auf Störungen. Kann nicht erklären, was passiert, wenn eine API nicht antwortet oder ein Limit erreicht.
  • Lock-in ohne Dateneigentum. Alles läuft auf der eigenen Plattform der Beratung, ohne Export von Daten, Prompts und Konfiguration.
  • Keine Vorstellung von den Monatskosten. Keine Schätzung, was das System bei Ihrem Volumen pro Monat kostet.
  • 10 Interviewfragen, die Verständnis von Jargon trennen

    Stellen Sie diese Fragen in fester Reihenfolge und notieren Sie, was jede Antwort enthält. Wie Sie ein solches Gespräch strukturieren, lesen Sie unter Kompetenztests in der Personalauswahl.

    1. "Welchen Prozess würden Sie zuerst angehen, und woran erkennen Sie nach drei Monaten, ob es sich gelohnt hat?" Starke Antwort: fragt zuerst nach Volumen, Durchlaufzeiten und Fehlerkosten und nennt eine Nullmessung und ein messbares Ziel.

    2. "Unsere Bestell-API gibt HTTP 429 zurück. Unser Support-Agent versucht es immer wieder und sagt dem Kunden dann, die Bestellung sei bestätigt. Was ist schiefgelaufen, und wie beheben Sie das?" Starke Antwort: 429 bedeutet zu viele Anfragen. Nötig sind eine begrenzte Zahl von Wiederholungen mit Wartezeit, ein Timeout und vor allem: Der Agent darf nur auf Basis einer echten Erfolgsantwort des Systems bestätigen. Sonst sagt er ehrlich, dass es nicht geklappt hat, und übergibt an einen Menschen.

    3. "Wie verhindern Sie, dass ein Lebenslauf mit versteckten Anweisungen einen Agenten dazu bringt, Bewerberdaten nach außen zu senden?" Starke Antwort: Inhalte aus Dokumenten als Daten behandeln, nicht als Anweisungen. Der Agent, der Lebensläufe liest, hat kein Tool zum externen Mailen oder Hochladen. Ausgehende Aktionen laufen über eine Allowlist und menschliche Freigabe.

    4. "Wie würden Sie messen, ob die neue Modellversion besser ist als die alte?" Starke Antwort: dasselbe Evaluationsset mit echten, gelabelten Beispielen auf beiden Versionen laufen lassen, inklusive Kosten und Latenz, mit vorab festgelegten Kriterien.

    5. "Ein Mitarbeiter fragt den internen Assistenten nach Gehältern und erhält eine Antwort aus einem HR-Dokument. Wie hätten Sie das verhindert?" Starke Antwort: Rechte beim Abrufen der Dokumente filtern, abhängig davon, wer fragt, nicht nachträglich im Prompt.

    6. "Wie wählen Sie für diese Aufgabe zwischen einem großen und einem kleinen Modell?" Starke Antwort: beide auf demselben Set messen, nach Qualität, Kosten pro Aufgabe, Latenz und dem Weg der Daten.

    7. "Was kostet dieses System pro Monat bei 20.000 Gesprächen?" Starke Antwort: rechnet laut mit Tokens pro Gespräch, Preis pro Token und Caching und nennt die größte Unsicherheit.

    8. "Welche Aktionen darf der Agent selbst ausführen, welche nicht?" Starke Antwort: Lesen und Vorbereiten ist in Ordnung. Unumkehrbare Aktionen wie Zahlen, Löschen oder externes Versenden brauchen eine menschliche Freigabe.

    9. "Wie bemerken Sie, dass das System nach einem Monat schlechter geworden ist?" Starke Antwort: Tracing jedes Schritts, Monitoring von Qualität und Kosten, Regressionstests bei jeder Änderung und eine feste Stichprobe.

    10. "Was erhalten wir bei der Übergabe, und was sollten wir selbst können?" Starke Antwort: Code, Prompts, Evaluationssets und Dokumentation in Ihrer Umgebung, dazu eine Übergabe, mit der Ihr Team Änderungen vornehmen kann. Nennt auch die DSGVO und ob der EU AI Act greift.

    Hinweis: Eine Antwort, die gut klingt, aber kein konkretes Detail enthält, ist ein Grund nachzufragen. "Können Sie ein Beispiel nennen?" trennt Erfahrung schnell von Jargon.

    Ein Praxistest, den Sie selbst durchführen können

  • Aufgabe (60 bis 90 Minuten). Geben Sie eine realistische Situation aus Ihrer eigenen Organisation vor, etwa einen Supportprozess, der teilweise automatisiert werden soll. Verlangen Sie eine Architekturskizze, eine Wahl von Modell und Retrieval, einen Evaluationsplan, Risiken und eine Kostenschätzung. KI-Nutzung ist erlaubt, wie in der echten Arbeit.
  • Verteidigung (20 Minuten). Die Beraterin oder der Berater erläutert das Design. Sie stellen Nachfragen: Was passiert bei einem Timeout, warum dieses Modell, wer darf was, wie messen Sie Erfolg?
  • Bewerten Sie mit einer Rubrik aus fünf Kriterien, jeweils 0 bis 4:

    Kriterium024

    |---|---|---|---|

    Problem und NutzenSetzt bei der Technik anNennt ein Ziel, aber nicht messbarMessbares Ziel und Nullmessung Architektur und EntscheidungenKeine BegründungBegründung anhand eines FaktorsAbwägung von Qualität, Kosten, Latenz und Datenschutz Sicherheit und RechteNicht erwähntAllgemein erwähntKonkrete Maßnahmen pro Tool und Datenquelle Evaluation und BetriebKein PlanTesten erwähnt, kein TestsetEvaluationsset, Tracing und Regressionstests VerteidigungKann eigenes Design nicht erklärenErklärt, wankt aber bei NachfragenErklärt, erkennt Schwächen an und passt an

    Ein wichtiger Hinweis: Eine Lücke zwischen dem, was jemand behauptet, und dem, was jemand zeigt, ist ein Grund für Nachfragen, kein Beweis für Bluffen. Sprechen Sie die Lücke offen an.

    Mehr zur Messung von KI-Kompetenzen allgemein lesen Sie in KI-Kompetenzen beurteilen.

    Das Making Moves AI Consultant & Architect Assessment

    Sie möchten das nicht selbst aufsetzen? Das AI Consultant & Architect Assessment kombiniert Wissensfragen, Entscheidungsszenarien, einen Praxisfall mit erlaubter KI-Nutzung und ein strukturiertes Verifikationsinterview, in dem die Beratung die eigene Architektur verteidigt. Zur Klarheit: Das Assessment befindet sich in einer Pilotphase. Es ist noch kein validierter, normierter Test. Nutzen Sie das Ergebnis daher als strukturierten Input für Ihre Entscheidung, neben Referenzen und früheren Projekten.

    Häufig gestellte Fragen

    Worauf achte ich, wenn ich einen KI-Berater beauftrage?

    Auf nachweisbare Erfahrung mit Systemen im Produktivbetrieb, einen Evaluationsplan, Aufmerksamkeit für Sicherheit und Rechte, eine monatliche Kostenschätzung und Vereinbarungen zum Eigentum an Code und Daten.

    Reicht ein Zertifikat als Nachweis?

    Nein. Ein Zertifikat zeigt Wissen. Ob jemand es in Ihrer Situation anwendet, prüfen Sie mit Szenariofragen und einem Praxisfall.

    Darf die Beratung im Test KI nutzen?

    Ja, wenn das in der echten Arbeit auch so ist. Sie beurteilen dann nicht, ob jemand alles auswendig weiß, sondern ob jemand gute Entscheidungen trifft und sie verteidigen kann.

    Funktioniert dieser Ansatz auch für KI-Engineers und Implementierungspartner?

    Ja. Passen Sie den Fall an die Rolle an: mehr Umsetzung für Engineers, mehr Prozess und Governance für Partner, die ein ganzes Vorhaben leiten.

    Zusammenfassung

  • Beurteilen Sie KI-Berater nach dem, was nachweisbar ist, nicht nach Demos oder Jargon.
  • Fragen Sie nach Evaluation, Rechten, Störungen, Kosten und Übergabe.
  • Nutzen Sie feste Fragen und notieren Sie, was jede Antwort enthält.
  • Lassen Sie einen Praxisfall mit Verteidigung bearbeiten und bewerten Sie mit einer Rubrik.
  • Sehen Sie Lücken zwischen Anspruch und Leistung als Anlass für Nachfragen, nicht als Beweis.
  • Sie möchten KI-Berater oder KI-Engineers strukturiert beurteilen? Sehen Sie sich den KI-Kompetenztest an oder nehmen Sie Kontakt auf.


    Erstgespräch vereinbaren · Unser AI Hiring System ansehen