IA en Contratación · 9 min lectura

Cómo evaluar habilidades de IA: medir lo que alguien sabe hacer de verdad con IA

Cómo evaluar habilidades de IA: por qué un test de conocimientos no basta, cuatro métodos con ejemplos, un modelo de puntuación y los puntos legales clave.

Door Ingmar van Maurik · Founder & CEO, Making Moves


Respuesta corta

Las habilidades de IA no se evalúan solo con un test de conocimientos. Una buena evaluación combina cuatro métodos: preguntas de conocimiento, escenarios de juicio situacional, una tarea práctica en la que se permite usar IA y una entrevista de verificación en la que la persona explica sus decisiones. Dé el mayor peso a la parte práctica, establezca un umbral de seguridad para acciones peligrosas y deje siempre la decisión en manos de una persona.

¿Qué entendemos por habilidades de IA?

Lo que alguien necesita hacer con IA varía mucho según el puesto. Distinguimos tres niveles:

NivelPuesto típicoQué debe saber hacer

|---|---|---|

Usuario de IAEmpleados, reclutamiento, marketingElegir la herramienta adecuada, redactar buenos prompts, revisar resultados, no compartir datos sensibles Constructor (automatización)Desarrollo, operaciones, análisis de datosCrear flujos y agentes, montar RAG, conectar APIs, gestionar errores, probar Consultor o arquitectoCTO, arquitecto de soluciones, responsable de IAElegir casos de uso, sopesar costes y riesgos, organizar evaluación y gobernanza, diseñar la arquitectura

Debajo hay dominios concretos: elección de modelo, prompting, verificación de resultados, RAG (hacer que la IA trabaje con sus propios documentos), agentes de IA, integraciones, seguridad, evaluación, costes, gobernanza y arquitectura de negocio. No todos los puestos necesitan todos.

Por qué la autoevaluación y las palabras clave del CV no bastan

"ChatGPT", "prompt engineering" y "agentes de IA" aparecen ya en muchos currículos. Eso dice algo sobre interés y experiencia, pero poco sobre el nivel. A menudo hay una diferencia entre lo que alguien cree saber hacer (habilidad declarada) y lo que demuestra en una tarea (habilidad demostrada).

Esa diferencia no significa que nadie esté exagerando. Hay explicaciones normales:

  • Autoevaluarse es difícil. En un campo nuevo a menudo aún no se sabe lo que no se sabe.
  • Las condiciones de la prueba son distintas. En el trabajo hay tiempo, compañeros y herramientas propias. En una prueba, a menudo no.
  • Toda medición tiene error. Incluso una buena prueba da una estimación, no una cifra exacta.
  • La conclusión: no confíe en una sola fuente. Mida el comportamiento y haga preguntas de seguimiento.

    Cuatro métodos para evaluar habilidades de IA

    1. Preguntas de conocimiento

    Las preguntas de conocimiento comprueban si alguien conoce los conceptos y principios básicos. Son rápidas y objetivas de puntuar, pero no muestran si la persona aplica ese conocimiento.

    Ejemplo: "Un equipo quiere que un asistente de IA responda preguntas a partir de 2.000 documentos internos de políticas. ¿Qué enfoque encaja mejor? A) Pegar todos los documentos en cada prompt. B) Un sistema RAG que recupera los pasajes relevantes y muestra la fuente. C) Pedir al modelo que memorice las políticas. D) Elegir un modelo más grande."

    2. Escenarios de juicio situacional

    Una prueba de juicio situacional presenta una situación laboral realista y pregunta cuál es la mejor respuesta. Así se mide el criterio: ¿sabe la persona qué hacer cuando la IA se equivoca?

    Ejemplo: "Usted pide a un asistente de IA cifras para una presentación ante la dirección. La respuesta incluye un porcentaje convincente sobre las preferencias de los clientes, sin fuente. ¿Qué es lo mejor que puede hacer?" La respuesta más sólida: no usar la cifra hasta encontrar una fuente primaria fiable y, si no la hay, omitirla. Son respuestas débiles copiar la cifra porque suena plausible, o preguntar a la IA "¿es correcto?" y tomar la respuesta como confirmación.

    3. Tarea práctica con IA permitida

    No se prohíbe la IA, se espera que se use, porque en el trabajo también está permitida. Se puntúan dos cosas: el resultado (funciona, es correcto, es seguro) y el proceso (qué decisiones toma la persona, si revisa el resultado, qué ocurre cuando algo falla).

    Ejemplo: La persona recibe los registros de un agente de soporte con IA. El agente llama a una API de pedidos que devuelve una y otra vez HTTP 429 (demasiadas solicitudes). El agente reintenta de inmediato, decenas de veces, y después le dice al cliente: "Su pedido está confirmado." Tarea: ¿qué falla y cómo lo solucionaría?

    Una buena respuesta incluye:

  • La causa: 429 significa que se ha alcanzado un límite. Reintentar de inmediato lo empeora.
  • Reintentos con backoff: esperas con intervalos crecientes y algo de aleatoriedad, un número máximo de intentos, respetar la cabecera Retry-After y asegurarse de que una solicitud repetida no genere un pedido duplicado.
  • Una alternativa segura: el agente solo confirma cuando la API devuelve éxito de verdad. Si no, informa con honestidad de que el pedido aún no se ha procesado o deriva la conversación a una persona.
  • Monitorización: alertas ante muchos errores 429 y ante confirmaciones sin una respuesta correcta de la API.
  • Pruebas de regresión: una prueba que simula un 429 y comprueba que el agente nunca confirma en ese caso.
  • 4. Entrevista de verificación estructurada

    Por último, la persona defiende sus decisiones en una breve entrevista con preguntas fijas y una rúbrica de puntuación. Así se ve si entiende lo que se ha construido, aunque la IA haya ayudado.

    Ejemplo: "Su agente puede pagar facturas. Está a punto de transferir 4.800 euros a una cuenta bancaria que se cambió ayer por correo electrónico. ¿Qué habría incorporado y por qué?" Fíjese en la aprobación humana a partir de un importe límite, la verificación de los datos de pago modificados por un segundo canal, permisos limitados para el agente y registro de actividad.

    Un modelo de puntuación sencillo

    ComponentePesoQué muestra

    |---|---|---|

    Preguntas de conocimiento25%Conceptos y principios Escenarios25%Criterio en situaciones realistas Práctica (tarea más entrevista de verificación)50%Lo que alguien sabe hacer y entiende de verdad

    Añada un umbral de seguridad. Si alguien hace algo peligroso en la tarea, como enviar datos personales a una herramienta externa no autorizada o dejar que un agente pague sin controles, su nivel queda limitado, sea cual sea la puntuación total. Una puntuación alta en conocimiento no compensa un comportamiento arriesgado en la práctica.

    Trabaje con niveles o bandas de puntuación en lugar de puntos exactos. Las pequeñas diferencias entre candidatos están dentro del error de medida. Más información en qué hace válida y fiable una evaluación.

    Qué vigilar desde el punto de vista legal

  • Artículo 22 del RGPD. Un rechazo no debe basarse únicamente en un tratamiento automatizado cuando afecta de forma significativa a la persona. Deje que una persona revise el resultado y tome la decisión.
  • Reglamento de IA de la UE (AI Act). Los sistemas de IA usados para evaluar o seleccionar candidatos son de alto riesgo según el anexo III. Tras el Digital Omnibus (Reglamento (UE) 2026/1744), esas obligaciones se aplican a partir del 2 de diciembre de 2027. Si usa IA para puntuar respuestas, esto puede afectar también a su caso. Qué obligaciones aplican exactamente depende de si usted es proveedor o responsable del despliegue del sistema.
  • Validación y equidad. Demuestre que la prueba mide lo que exige el puesto y supervise los resultados por grupo. Una tarea que premia sobre todo escribir rápido o la jerga técnica en inglés mide otra cosa que la habilidad en IA. Explique de antemano qué mide y cuándo se permite usar IA.
  • Cómo empezar

    1. Haga un análisis del puesto para cada rol. ¿Qué debe saber hacer con IA una persona de reclutamiento y qué un desarrollador?

    2. Elija de cuatro a seis dominios. Para un usuario de IA, por ejemplo: prompting, verificación, seguridad y costes.

    3. Haga un piloto. Pruebe con empleados cuyo nivel conoce. Compruebe si las tareas son claras y si los evaluadores coinciden entre sí.

    4. Compare con el desempeño. Al cabo de unos meses, compruebe si las puntuaciones se relacionan con el desempeño real en el trabajo.

    Para saber más sobre medir comportamiento, lea pruebas de competencias en selección.

    Sobre el Making Moves AI Skills Assessment

    Estamos desarrollando el Making Moves AI Skills Assessment con este enfoque: conocimiento, escenarios y práctica en los dominios citados. La evaluación está en fase piloto. Todavía no es una prueba de selección validada y baremada. Use el resultado como base para una conversación o un plan de desarrollo, no como único fundamento de una decisión de selección.

    Preguntas frecuentes

    ¿Basta un test de conocimientos para evaluar habilidades de IA?

    No. El conocimiento es una condición previa, pero dice poco sobre la aplicación. Combine preguntas de conocimiento con escenarios, una tarea práctica y una entrevista de verificación.

    ¿Puede un candidato usar IA durante la evaluación?

    En la parte práctica sí. Precisamente se mide cómo alguien usa, revisa y corrige la IA. En las preguntas de conocimiento es mejor excluirla, para medir el conocimiento propio. Explique con claridad de antemano qué está permitido.

    ¿Se puede evaluar también a los empleados actuales?

    Sí. Con empleados el objetivo suele ser el desarrollo: ver en qué punto está alguien y qué formación encaja. Sea transparente sobre el objetivo y sobre qué se hace con los resultados. En una evaluación a nivel de toda la organización, implique a la representación legal de los trabajadores.

    ¿Una evaluación de habilidades de IA está sujeta al AI Act?

    Una prueba sobre IA no es automáticamente un sistema de IA. Pero si usa IA para evaluar o seleccionar candidatos, por ejemplo para puntuar de forma automática, se considera de alto riesgo según el anexo III, con obligaciones a partir del 2 de diciembre de 2027.

    Resumen

  • Un test de conocimientos no basta: mida lo que alguien hace con IA, no solo lo que sabe.
  • Una diferencia entre habilidad declarada y demostrada es normal y no significa que nadie esté exagerando.
  • Combine preguntas de conocimiento, escenarios, una tarea práctica con IA y una entrevista de verificación.
  • Dé el mayor peso a la práctica y use un umbral de seguridad para acciones peligrosas.
  • Tenga en cuenta el artículo 22 del RGPD y el AI Act: decide una persona.
  • ¿Quiere saber en qué punto están usted o su equipo? Haga el AI Skills Check gratuito o contáctenos si quiere evaluar las habilidades de IA en su organización.


    Reservar una llamada · Ver nuestro sistema AI Hiring