Cómo evaluar consultores de IA: 10 preguntas que separan el saber de la jerga
Cómo evaluar consultores de IA antes de contratarlos: 8 competencias que verificar, señales de alarma, 10 preguntas de entrevista y una prueba práctica.
Door Ingmar van Maurik · Founder & CEO, Making Moves
Respuesta corta
Un buen consultor de IA no se reconoce por una demo ni por la jerga, sino por lo que puede hacer de forma demostrable: partir del proceso de negocio, justificar sus decisiones con mediciones, nombrar los riesgos y entregar un sistema que usted pueda gestionar por su cuenta. La mejor forma de comprobarlo son preguntas concretas sobre lo que puede fallar y un caso práctico breve en el que la persona consultora defiende su diseño.
Por qué ahora es difícil
Muchas personas se presentan desde hace poco como consultores de IA. En un currículum o en LinkedIn apenas se ve quién tiene años de experiencia y quién unos meses.
Además: una demo es fácil, la producción es difícil. Un chatbot que responde cinco preguntas en una presentación se hace en una tarde. Un sistema que gestiona miles de consultas reales, con datos de clientes, caídas de servicios externos y un coste por conversación, es otro oficio. Esas competencias no aparecen en una demo. Hay que preguntar por ellas.
Qué puede demostrar un buen consultor de IA
|---|---|
Señales de alarma
10 preguntas de entrevista que separan el conocimiento de la jerga
Hágalas en un orden fijo y anote qué contiene cada respuesta. Más sobre entrevistas estructuradas en pruebas de competencias en la selección.
1. "¿Qué proceso abordaría primero y cómo sabrá dentro de tres meses si ha merecido la pena?" Respuesta sólida: pregunta por volúmenes y coste de los errores, y menciona una medición inicial y un objetivo medible.
2. "Nuestra API de pedidos devuelve HTTP 429. Nuestro agente de soporte reintenta una y otra vez y luego le dice al cliente que el pedido está confirmado. ¿Qué ha fallado y cómo lo soluciona?" Respuesta sólida: 429 significa demasiadas solicitudes. Hacen falta reintentos limitados con espera, un tiempo máximo y, sobre todo, que el agente solo confirme tras una respuesta real de éxito. Si no, dice que no ha funcionado y pasa el caso a una persona.
3. "¿Cómo evita que un currículum con instrucciones ocultas haga que un agente envíe datos de candidatos a otro lugar?" Respuesta sólida: tratar el contenido de los documentos como datos, no como instrucciones. El agente que lee currículos no tiene herramientas para enviar nada al exterior. Las acciones salientes pasan por una lista de permitidos y una aprobación humana.
4. "¿Cómo mediría si la nueva versión del modelo es mejor que la anterior?" Respuesta sólida: ejecutar el mismo conjunto de evaluación con ejemplos reales y etiquetados en ambas versiones, incluidos coste y latencia, con criterios fijados de antemano.
5. "Un empleado pregunta al asistente interno por los salarios y recibe una respuesta sacada de un documento de RR. HH. ¿Cómo lo habría evitado?" Respuesta sólida: filtrar permisos en el momento de recuperar los documentos, según quién pregunta, no después en el prompt.
6. "¿Cómo elige entre un modelo grande y uno pequeño para esta tarea?" Respuesta sólida: medir ambos con el mismo conjunto, por calidad, coste por tarea, latencia y destino de los datos.
7. "¿Cuánto cuesta este sistema al mes con 20.000 conversaciones?" Respuesta sólida: calcula en voz alta con tokens por conversación, precio por token y caché, y señala la mayor incertidumbre.
8. "¿Qué acciones puede realizar el agente por sí solo y cuáles no?" Respuesta sólida: leer y preparar, sí. Las acciones irreversibles, como pagar, borrar o enviar al exterior, requieren aprobación humana.
9. "¿Cómo detectaría que el sistema ha empeorado al cabo de un mes?" Respuesta sólida: trazas, monitorización de calidad y coste, y pruebas de regresión con cada cambio.
10. "¿Qué recibimos en la entrega y qué deberíamos saber hacer nosotros?" Respuesta sólida: código, prompts, conjuntos de evaluación y documentación en su entorno, y un traspaso para que su equipo pueda hacer cambios. Menciona también el RGPD y la Ley de IA de la UE.
Una respuesta que suena bien pero sin ningún detalle concreto es motivo para profundizar. "¿Puede darme un ejemplo?" separa rápido la experiencia de la jerga.
Una prueba práctica que puede hacer usted mismo
Puntúe con una rúbrica de cinco criterios, cada uno de 0 a 4:
|---|---|---|---|
Una matización importante: una diferencia entre lo que alguien afirma y lo que demuestra es un motivo para hacer preguntas de seguimiento, no una prueba de que esté fingiendo. Hable de la diferencia abiertamente.
Para medir las competencias en IA de forma más amplia, lea cómo evaluar las competencias en IA.
El AI Consultant & Architect Assessment de Making Moves
El AI Consultant & Architect Assessment combina preguntas de conocimiento, escenarios de decisión, un caso práctico en el que se permite usar IA y una entrevista de verificación estructurada en la que la persona consultora defiende su arquitectura. Para ser claros: la evaluación está en fase piloto. Todavía no es una prueba validada y baremada. Use el resultado como información estructurada, junto con referencias y proyectos anteriores.
Preguntas frecuentes
¿En qué debo fijarme al contratar a un consultor de IA?
En experiencia demostrable con sistemas en producción, un plan de evaluación, atención a la seguridad y los permisos, una estimación del coste mensual y acuerdos sobre la propiedad del código y los datos.
¿Basta un certificado como prueba?
No. Un certificado muestra conocimientos. Si alguien sabe aplicarlos a su situación, lo comprueba con preguntas de escenario y un caso práctico.
¿Puede el consultor usar IA durante la prueba?
Sí, si también es así en el trabajo real. Así evalúa si alguien decide bien y sabe defenderlo, no si lo sabe todo de memoria.
¿Sirve este enfoque también para ingenieros de IA y socios de implantación?
Sí. Adapte el caso al puesto: más construcción para ingenieros, más proceso y gobernanza para socios que dirigen un proyecto completo.
Resumen
¿Quiere evaluar a consultores o ingenieros de IA de forma estructurada? Consulte la evaluación de competencias en IA o contáctenos.