Gute KI-Berater erkennen: 10 Fragen, die Fachwissen von Jargon trennen
So erkennen Sie gute KI-Berater: 8 nachweisbare Fähigkeiten, Warnsignale, 10 Interviewfragen und ein Praxistest mit Bewertungsrubrik für Ihre Auswahl.
Door Ingmar van Maurik · Founder & CEO, Making Moves
Kurze Antwort
Gute KI-Berater erkennen Sie nicht an einer Demo oder an Fachjargon, sondern daran, was jemand nachweislich kann: beim Geschäftsprozess ansetzen, Entscheidungen mit Messungen begründen, Risiken benennen und ein System liefern, das Sie selbst betreiben können. Am besten prüfen Sie das mit gezielten Fragen dazu, was schiefgehen kann, und einem kurzen Praxisfall, in dem die Beraterin oder der Berater das eigene Design verteidigt.
Warum es gerade jetzt schwierig ist
Viele Menschen nennen sich seit Kurzem KI-Berater. Im Lebenslauf oder auf LinkedIn sieht man kaum, wer jahrelange Erfahrung hat und wer einige Monate.
Dazu kommt: Eine Demo ist einfach, der Produktivbetrieb ist schwer. Einen Chatbot, der in einer Präsentation fünf Fragen gut beantwortet, baut man an einem Nachmittag. Ein System, das Tausende echte Anfragen verarbeitet, mit Kundendaten, unvorhersehbaren Eingaben, Ausfällen externer Dienste und Kosten pro Gespräch, ist ein anderes Handwerk. Diese Fähigkeiten sieht man in keiner Demo. Sie müssen gezielt danach fragen.
Was gute KI-Berater nachweislich können
|---|---|
Warnsignale
10 Interviewfragen, die Verständnis von Jargon trennen
Stellen Sie diese Fragen in fester Reihenfolge und notieren Sie, was jede Antwort enthält. Wie Sie ein solches Gespräch strukturieren, lesen Sie unter Kompetenztests in der Personalauswahl.
1. "Welchen Prozess würden Sie zuerst angehen, und woran erkennen Sie nach drei Monaten, ob es sich gelohnt hat?" Starke Antwort: fragt zuerst nach Volumen, Durchlaufzeiten und Fehlerkosten und nennt eine Nullmessung und ein messbares Ziel.
2. "Unsere Bestell-API gibt HTTP 429 zurück. Unser Support-Agent versucht es immer wieder und sagt dem Kunden dann, die Bestellung sei bestätigt. Was ist schiefgelaufen, und wie beheben Sie das?" Starke Antwort: 429 bedeutet zu viele Anfragen. Nötig sind eine begrenzte Zahl von Wiederholungen mit Wartezeit, ein Timeout und vor allem: Der Agent darf nur auf Basis einer echten Erfolgsantwort des Systems bestätigen. Sonst sagt er ehrlich, dass es nicht geklappt hat, und übergibt an einen Menschen.
3. "Wie verhindern Sie, dass ein Lebenslauf mit versteckten Anweisungen einen Agenten dazu bringt, Bewerberdaten nach außen zu senden?" Starke Antwort: Inhalte aus Dokumenten als Daten behandeln, nicht als Anweisungen. Der Agent, der Lebensläufe liest, hat kein Tool zum externen Mailen oder Hochladen. Ausgehende Aktionen laufen über eine Allowlist und menschliche Freigabe.
4. "Wie würden Sie messen, ob die neue Modellversion besser ist als die alte?" Starke Antwort: dasselbe Evaluationsset mit echten, gelabelten Beispielen auf beiden Versionen laufen lassen, inklusive Kosten und Latenz, mit vorab festgelegten Kriterien.
5. "Ein Mitarbeiter fragt den internen Assistenten nach Gehältern und erhält eine Antwort aus einem HR-Dokument. Wie hätten Sie das verhindert?" Starke Antwort: Rechte beim Abrufen der Dokumente filtern, abhängig davon, wer fragt, nicht nachträglich im Prompt.
6. "Wie wählen Sie für diese Aufgabe zwischen einem großen und einem kleinen Modell?" Starke Antwort: beide auf demselben Set messen, nach Qualität, Kosten pro Aufgabe, Latenz und dem Weg der Daten.
7. "Was kostet dieses System pro Monat bei 20.000 Gesprächen?" Starke Antwort: rechnet laut mit Tokens pro Gespräch, Preis pro Token und Caching und nennt die größte Unsicherheit.
8. "Welche Aktionen darf der Agent selbst ausführen, welche nicht?" Starke Antwort: Lesen und Vorbereiten ist in Ordnung. Unumkehrbare Aktionen wie Zahlen, Löschen oder externes Versenden brauchen eine menschliche Freigabe.
9. "Wie bemerken Sie, dass das System nach einem Monat schlechter geworden ist?" Starke Antwort: Tracing jedes Schritts, Monitoring von Qualität und Kosten, Regressionstests bei jeder Änderung und eine feste Stichprobe.
10. "Was erhalten wir bei der Übergabe, und was sollten wir selbst können?" Starke Antwort: Code, Prompts, Evaluationssets und Dokumentation in Ihrer Umgebung, dazu eine Übergabe, mit der Ihr Team Änderungen vornehmen kann. Nennt auch die DSGVO und ob der EU AI Act greift.
Hinweis: Eine Antwort, die gut klingt, aber kein konkretes Detail enthält, ist ein Grund nachzufragen. "Können Sie ein Beispiel nennen?" trennt Erfahrung schnell von Jargon.
Ein Praxistest, den Sie selbst durchführen können
Bewerten Sie mit einer Rubrik aus fünf Kriterien, jeweils 0 bis 4:
|---|---|---|---|
Ein wichtiger Hinweis: Eine Lücke zwischen dem, was jemand behauptet, und dem, was jemand zeigt, ist ein Grund für Nachfragen, kein Beweis für Bluffen. Sprechen Sie die Lücke offen an.
Mehr zur Messung von KI-Kompetenzen allgemein lesen Sie in KI-Kompetenzen beurteilen.
Das Making Moves AI Consultant & Architect Assessment
Sie möchten das nicht selbst aufsetzen? Das AI Consultant & Architect Assessment kombiniert Wissensfragen, Entscheidungsszenarien, einen Praxisfall mit erlaubter KI-Nutzung und ein strukturiertes Verifikationsinterview, in dem die Beratung die eigene Architektur verteidigt. Zur Klarheit: Das Assessment befindet sich in einer Pilotphase. Es ist noch kein validierter, normierter Test. Nutzen Sie das Ergebnis daher als strukturierten Input für Ihre Entscheidung, neben Referenzen und früheren Projekten.
Häufig gestellte Fragen
Worauf achte ich, wenn ich einen KI-Berater beauftrage?
Auf nachweisbare Erfahrung mit Systemen im Produktivbetrieb, einen Evaluationsplan, Aufmerksamkeit für Sicherheit und Rechte, eine monatliche Kostenschätzung und Vereinbarungen zum Eigentum an Code und Daten.
Reicht ein Zertifikat als Nachweis?
Nein. Ein Zertifikat zeigt Wissen. Ob jemand es in Ihrer Situation anwendet, prüfen Sie mit Szenariofragen und einem Praxisfall.
Darf die Beratung im Test KI nutzen?
Ja, wenn das in der echten Arbeit auch so ist. Sie beurteilen dann nicht, ob jemand alles auswendig weiß, sondern ob jemand gute Entscheidungen trifft und sie verteidigen kann.
Funktioniert dieser Ansatz auch für KI-Engineers und Implementierungspartner?
Ja. Passen Sie den Fall an die Rolle an: mehr Umsetzung für Engineers, mehr Prozess und Governance für Partner, die ein ganzes Vorhaben leiten.
Zusammenfassung
Sie möchten KI-Berater oder KI-Engineers strukturiert beurteilen? Sehen Sie sich den KI-Kompetenztest an oder nehmen Sie Kontakt auf.