Cómo evaluar habilidades de IA: medir lo que alguien sabe hacer de verdad con IA
Cómo evaluar habilidades de IA: por qué un test de conocimientos no basta, cuatro métodos con ejemplos, un modelo de puntuación y los puntos legales clave.
Door Ingmar van Maurik · Founder & CEO, Making Moves
Respuesta corta
Las habilidades de IA no se evalúan solo con un test de conocimientos. Una buena evaluación combina cuatro métodos: preguntas de conocimiento, escenarios de juicio situacional, una tarea práctica en la que se permite usar IA y una entrevista de verificación en la que la persona explica sus decisiones. Dé el mayor peso a la parte práctica, establezca un umbral de seguridad para acciones peligrosas y deje siempre la decisión en manos de una persona.
¿Qué entendemos por habilidades de IA?
Lo que alguien necesita hacer con IA varía mucho según el puesto. Distinguimos tres niveles:
|---|---|---|
Debajo hay dominios concretos: elección de modelo, prompting, verificación de resultados, RAG (hacer que la IA trabaje con sus propios documentos), agentes de IA, integraciones, seguridad, evaluación, costes, gobernanza y arquitectura de negocio. No todos los puestos necesitan todos.
Por qué la autoevaluación y las palabras clave del CV no bastan
"ChatGPT", "prompt engineering" y "agentes de IA" aparecen ya en muchos currículos. Eso dice algo sobre interés y experiencia, pero poco sobre el nivel. A menudo hay una diferencia entre lo que alguien cree saber hacer (habilidad declarada) y lo que demuestra en una tarea (habilidad demostrada).
Esa diferencia no significa que nadie esté exagerando. Hay explicaciones normales:
La conclusión: no confíe en una sola fuente. Mida el comportamiento y haga preguntas de seguimiento.
Cuatro métodos para evaluar habilidades de IA
1. Preguntas de conocimiento
Las preguntas de conocimiento comprueban si alguien conoce los conceptos y principios básicos. Son rápidas y objetivas de puntuar, pero no muestran si la persona aplica ese conocimiento.
Ejemplo: "Un equipo quiere que un asistente de IA responda preguntas a partir de 2.000 documentos internos de políticas. ¿Qué enfoque encaja mejor? A) Pegar todos los documentos en cada prompt. B) Un sistema RAG que recupera los pasajes relevantes y muestra la fuente. C) Pedir al modelo que memorice las políticas. D) Elegir un modelo más grande."
2. Escenarios de juicio situacional
Una prueba de juicio situacional presenta una situación laboral realista y pregunta cuál es la mejor respuesta. Así se mide el criterio: ¿sabe la persona qué hacer cuando la IA se equivoca?
Ejemplo: "Usted pide a un asistente de IA cifras para una presentación ante la dirección. La respuesta incluye un porcentaje convincente sobre las preferencias de los clientes, sin fuente. ¿Qué es lo mejor que puede hacer?" La respuesta más sólida: no usar la cifra hasta encontrar una fuente primaria fiable y, si no la hay, omitirla. Son respuestas débiles copiar la cifra porque suena plausible, o preguntar a la IA "¿es correcto?" y tomar la respuesta como confirmación.
3. Tarea práctica con IA permitida
No se prohíbe la IA, se espera que se use, porque en el trabajo también está permitida. Se puntúan dos cosas: el resultado (funciona, es correcto, es seguro) y el proceso (qué decisiones toma la persona, si revisa el resultado, qué ocurre cuando algo falla).
Ejemplo: La persona recibe los registros de un agente de soporte con IA. El agente llama a una API de pedidos que devuelve una y otra vez HTTP 429 (demasiadas solicitudes). El agente reintenta de inmediato, decenas de veces, y después le dice al cliente: "Su pedido está confirmado." Tarea: ¿qué falla y cómo lo solucionaría?
Una buena respuesta incluye:
4. Entrevista de verificación estructurada
Por último, la persona defiende sus decisiones en una breve entrevista con preguntas fijas y una rúbrica de puntuación. Así se ve si entiende lo que se ha construido, aunque la IA haya ayudado.
Ejemplo: "Su agente puede pagar facturas. Está a punto de transferir 4.800 euros a una cuenta bancaria que se cambió ayer por correo electrónico. ¿Qué habría incorporado y por qué?" Fíjese en la aprobación humana a partir de un importe límite, la verificación de los datos de pago modificados por un segundo canal, permisos limitados para el agente y registro de actividad.
Un modelo de puntuación sencillo
|---|---|---|
Añada un umbral de seguridad. Si alguien hace algo peligroso en la tarea, como enviar datos personales a una herramienta externa no autorizada o dejar que un agente pague sin controles, su nivel queda limitado, sea cual sea la puntuación total. Una puntuación alta en conocimiento no compensa un comportamiento arriesgado en la práctica.
Trabaje con niveles o bandas de puntuación en lugar de puntos exactos. Las pequeñas diferencias entre candidatos están dentro del error de medida. Más información en qué hace válida y fiable una evaluación.
Qué vigilar desde el punto de vista legal
Cómo empezar
1. Haga un análisis del puesto para cada rol. ¿Qué debe saber hacer con IA una persona de reclutamiento y qué un desarrollador?
2. Elija de cuatro a seis dominios. Para un usuario de IA, por ejemplo: prompting, verificación, seguridad y costes.
3. Haga un piloto. Pruebe con empleados cuyo nivel conoce. Compruebe si las tareas son claras y si los evaluadores coinciden entre sí.
4. Compare con el desempeño. Al cabo de unos meses, compruebe si las puntuaciones se relacionan con el desempeño real en el trabajo.
Para saber más sobre medir comportamiento, lea pruebas de competencias en selección.
Sobre el Making Moves AI Skills Assessment
Estamos desarrollando el Making Moves AI Skills Assessment con este enfoque: conocimiento, escenarios y práctica en los dominios citados. La evaluación está en fase piloto. Todavía no es una prueba de selección validada y baremada. Use el resultado como base para una conversación o un plan de desarrollo, no como único fundamento de una decisión de selección.
Preguntas frecuentes
¿Basta un test de conocimientos para evaluar habilidades de IA?
No. El conocimiento es una condición previa, pero dice poco sobre la aplicación. Combine preguntas de conocimiento con escenarios, una tarea práctica y una entrevista de verificación.
¿Puede un candidato usar IA durante la evaluación?
En la parte práctica sí. Precisamente se mide cómo alguien usa, revisa y corrige la IA. En las preguntas de conocimiento es mejor excluirla, para medir el conocimiento propio. Explique con claridad de antemano qué está permitido.
¿Se puede evaluar también a los empleados actuales?
Sí. Con empleados el objetivo suele ser el desarrollo: ver en qué punto está alguien y qué formación encaja. Sea transparente sobre el objetivo y sobre qué se hace con los resultados. En una evaluación a nivel de toda la organización, implique a la representación legal de los trabajadores.
¿Una evaluación de habilidades de IA está sujeta al AI Act?
Una prueba sobre IA no es automáticamente un sistema de IA. Pero si usa IA para evaluar o seleccionar candidatos, por ejemplo para puntuar de forma automática, se considera de alto riesgo según el anexo III, con obligaciones a partir del 2 de diciembre de 2027.
Resumen
¿Quiere saber en qué punto están usted o su equipo? Haga el AI Skills Check gratuito o contáctenos si quiere evaluar las habilidades de IA en su organización.