IA en Contratación · 9 min lectura

Cómo evaluar consultores de IA: 10 preguntas que separan el saber de la jerga

Cómo evaluar consultores de IA antes de contratarlos: 8 competencias que verificar, señales de alarma, 10 preguntas de entrevista y una prueba práctica.

Door Ingmar van Maurik · Founder & CEO, Making Moves


Respuesta corta

Un buen consultor de IA no se reconoce por una demo ni por la jerga, sino por lo que puede hacer de forma demostrable: partir del proceso de negocio, justificar sus decisiones con mediciones, nombrar los riesgos y entregar un sistema que usted pueda gestionar por su cuenta. La mejor forma de comprobarlo son preguntas concretas sobre lo que puede fallar y un caso práctico breve en el que la persona consultora defiende su diseño.

Por qué ahora es difícil

Muchas personas se presentan desde hace poco como consultores de IA. En un currículum o en LinkedIn apenas se ve quién tiene años de experiencia y quién unos meses.

Además: una demo es fácil, la producción es difícil. Un chatbot que responde cinco preguntas en una presentación se hace en una tarde. Un sistema que gestiona miles de consultas reales, con datos de clientes, caídas de servicios externos y un coste por conversación, es otro oficio. Esas competencias no aparecen en una demo. Hay que preguntar por ellas.

Qué puede demostrar un buen consultor de IA

CompetenciaQué pedir como evidencia

|---|---|

Parte del proceso de negocio y del retorno, no del modeloUn proyecto anterior con una situación inicial medida y un objetivo en tiempo, dinero o calidad Elige modelos por calidad, coste, latencia y privacidadUn conjunto de evaluación con ejemplos reales y la comparación que llevó a la elección Diseña la recuperación (RAG) con filtrado de permisosUna explicación de cómo cada empleado solo ve los documentos a los que tiene acceso Diseña agentes de forma seguraMínimos privilegios por herramienta, aprobación humana para acciones irreversibles, tiempos de espera y una alternativa de respaldo Conoce la inyección de prompts y la protección de datosMedidas contra instrucciones ocultas en documentos, correos o webs Construye evaluaciones, trazas y pruebas de regresiónUn conjunto de pruebas que se ejecuta con cada cambio y registros para rastrear errores Estima los costes de funcionamientoUn cálculo de tokens por tarea, volúmenes mensuales y el efecto del caché Planifica la gobernanza y el traspasoAtención al RGPD, la Ley de IA de la UE, la documentación y un plan para que usted sea propietario del código, los datos y los prompts

Señales de alarma

  • Solo una demo de chatbot. Nada que lleve meses en uso.
  • Sin plan de evaluación. "Ya lo probaremos" sin conjunto de pruebas, criterios ni momento de medición.
  • Prometer "100 % de precisión". Los modelos de lenguaje se equivocan. Un buen consultor le dice cómo detectarlos.
  • Sin respuesta ante fallos. No sabe explicar qué ocurre cuando una API no responde o alcanza un límite.
  • Dependencia sin propiedad de los datos. Todo funciona en la plataforma propia del consultor, sin exportación de datos, prompts y configuración.
  • Ninguna idea del coste mensual. Ninguna estimación de lo que cuesta el sistema al mes con su volumen.
  • 10 preguntas de entrevista que separan el conocimiento de la jerga

    Hágalas en un orden fijo y anote qué contiene cada respuesta. Más sobre entrevistas estructuradas en pruebas de competencias en la selección.

    1. "¿Qué proceso abordaría primero y cómo sabrá dentro de tres meses si ha merecido la pena?" Respuesta sólida: pregunta por volúmenes y coste de los errores, y menciona una medición inicial y un objetivo medible.

    2. "Nuestra API de pedidos devuelve HTTP 429. Nuestro agente de soporte reintenta una y otra vez y luego le dice al cliente que el pedido está confirmado. ¿Qué ha fallado y cómo lo soluciona?" Respuesta sólida: 429 significa demasiadas solicitudes. Hacen falta reintentos limitados con espera, un tiempo máximo y, sobre todo, que el agente solo confirme tras una respuesta real de éxito. Si no, dice que no ha funcionado y pasa el caso a una persona.

    3. "¿Cómo evita que un currículum con instrucciones ocultas haga que un agente envíe datos de candidatos a otro lugar?" Respuesta sólida: tratar el contenido de los documentos como datos, no como instrucciones. El agente que lee currículos no tiene herramientas para enviar nada al exterior. Las acciones salientes pasan por una lista de permitidos y una aprobación humana.

    4. "¿Cómo mediría si la nueva versión del modelo es mejor que la anterior?" Respuesta sólida: ejecutar el mismo conjunto de evaluación con ejemplos reales y etiquetados en ambas versiones, incluidos coste y latencia, con criterios fijados de antemano.

    5. "Un empleado pregunta al asistente interno por los salarios y recibe una respuesta sacada de un documento de RR. HH. ¿Cómo lo habría evitado?" Respuesta sólida: filtrar permisos en el momento de recuperar los documentos, según quién pregunta, no después en el prompt.

    6. "¿Cómo elige entre un modelo grande y uno pequeño para esta tarea?" Respuesta sólida: medir ambos con el mismo conjunto, por calidad, coste por tarea, latencia y destino de los datos.

    7. "¿Cuánto cuesta este sistema al mes con 20.000 conversaciones?" Respuesta sólida: calcula en voz alta con tokens por conversación, precio por token y caché, y señala la mayor incertidumbre.

    8. "¿Qué acciones puede realizar el agente por sí solo y cuáles no?" Respuesta sólida: leer y preparar, sí. Las acciones irreversibles, como pagar, borrar o enviar al exterior, requieren aprobación humana.

    9. "¿Cómo detectaría que el sistema ha empeorado al cabo de un mes?" Respuesta sólida: trazas, monitorización de calidad y coste, y pruebas de regresión con cada cambio.

    10. "¿Qué recibimos en la entrega y qué deberíamos saber hacer nosotros?" Respuesta sólida: código, prompts, conjuntos de evaluación y documentación en su entorno, y un traspaso para que su equipo pueda hacer cambios. Menciona también el RGPD y la Ley de IA de la UE.

    Una respuesta que suena bien pero sin ningún detalle concreto es motivo para profundizar. "¿Puede darme un ejemplo?" separa rápido la experiencia de la jerga.

    Una prueba práctica que puede hacer usted mismo

  • Encargo (60 a 90 minutos). Plantee una situación realista de su propia organización, por ejemplo un proceso de soporte que se quiere automatizar en parte. Pida un esquema de arquitectura, la elección de modelo y recuperación, un plan de evaluación, riesgos y costes. Se permite usar IA, igual que en el trabajo real.
  • Defensa (20 minutos). La persona consultora explica su diseño. Usted hace preguntas de seguimiento: ¿qué pasa si hay un tiempo de espera agotado, por qué este modelo, quién puede hacer qué, cómo mide el éxito?
  • Puntúe con una rúbrica de cinco criterios, cada uno de 0 a 4:

    Criterio024

    |---|---|---|---|

    Problema y retornoParte de la tecnologíaNombra un objetivo, pero no medibleObjetivo medible y medición inicial Arquitectura y decisionesSin justificaciónJustificación basada en un solo factorPondera calidad, coste, latencia y privacidad Seguridad y permisosNo se mencionaSe menciona en términos generalesMedidas concretas por herramienta y fuente de datos Evaluación y operaciónSin planMenciona pruebas, sin conjunto de pruebasConjunto de evaluación, trazas y pruebas de regresión DefensaNo sabe explicar su propio diseñoExplica, pero duda ante las preguntas de seguimientoExplica, reconoce debilidades y ajusta

    Una matización importante: una diferencia entre lo que alguien afirma y lo que demuestra es un motivo para hacer preguntas de seguimiento, no una prueba de que esté fingiendo. Hable de la diferencia abiertamente.

    Para medir las competencias en IA de forma más amplia, lea cómo evaluar las competencias en IA.

    El AI Consultant & Architect Assessment de Making Moves

    El AI Consultant & Architect Assessment combina preguntas de conocimiento, escenarios de decisión, un caso práctico en el que se permite usar IA y una entrevista de verificación estructurada en la que la persona consultora defiende su arquitectura. Para ser claros: la evaluación está en fase piloto. Todavía no es una prueba validada y baremada. Use el resultado como información estructurada, junto con referencias y proyectos anteriores.

    Preguntas frecuentes

    ¿En qué debo fijarme al contratar a un consultor de IA?

    En experiencia demostrable con sistemas en producción, un plan de evaluación, atención a la seguridad y los permisos, una estimación del coste mensual y acuerdos sobre la propiedad del código y los datos.

    ¿Basta un certificado como prueba?

    No. Un certificado muestra conocimientos. Si alguien sabe aplicarlos a su situación, lo comprueba con preguntas de escenario y un caso práctico.

    ¿Puede el consultor usar IA durante la prueba?

    Sí, si también es así en el trabajo real. Así evalúa si alguien decide bien y sabe defenderlo, no si lo sabe todo de memoria.

    ¿Sirve este enfoque también para ingenieros de IA y socios de implantación?

    Sí. Adapte el caso al puesto: más construcción para ingenieros, más proceso y gobernanza para socios que dirigen un proyecto completo.

    Resumen

  • Evalúe a un consultor de IA por lo que es demostrable, no por demos ni jerga.
  • Pregunte por evaluación, permisos, fallos, costes y traspaso.
  • Use preguntas fijas y anote qué contiene cada respuesta.
  • Plantee un caso práctico con defensa y puntúelo con una rúbrica.
  • Vea las diferencias entre lo afirmado y lo demostrado como motivo para preguntar más, no como prueba.
  • ¿Quiere evaluar a consultores o ingenieros de IA de forma estructurada? Consulte la evaluación de competencias en IA o contáctenos.


    Reservar una llamada · Ver nuestro sistema AI Hiring