Saber cómo evaluar un agente de IA es la diferencia entre delegar una decisión con criterio y delegarla a ciegas. Y casi nadie lo explica en llano. La mayoría de las pruebas se quedan en una comprobación engañosa: ¿responde? Sí. Listo. Pero que un agente responda no significa que acierte. Un modelo de lenguaje siempre produce una respuesta plausible; el problema es que la plausibilidad y la corrección no son lo mismo.
Antes de dejar que un agente decida sobre tu negocio —clasificar un correo, aprobar un gasto, responder a un cliente, priorizar una tarea— necesitas una respuesta a una pregunta incómoda: ¿cuántas veces acierta de verdad? Este artículo explica cómo medirlo sin ser técnico.
La trampa de fondo: un agente que se equivoca con seguridad es más peligroso que uno que duda. Suena convincente, así que nadie revisa. Por eso evaluar no es opcional: es lo que separa el 12% de pilotos que llega a producción del 88% que se queda por el camino.
¿Responder es lo mismo que acertar? La distinción que lo cambia todo
Imagina un agente que lee facturas y extrae el importe a pagar. Le das cien facturas y devuelve cien importes. Parece que funciona. Pero la pregunta correcta no es si devuelve un número, sino si devuelve el número correcto. Si en quince de esas cien se equivoca de casilla y coge el subtotal en vez del total, tienes un agente que "responde" el 100% de las veces y "acierta" solo el 85%.
Esa diferencia es invisible si solo miras que la respuesta exista. Se vuelve visible cuando comparas cada respuesta contra la respuesta correcta conocida. Ahí está el núcleo de toda evaluación seria: no medir actividad, medir aciertos.
¿Qué es un banco de casos de prueba y por qué es tu vara de medir?
Para medir aciertos necesitas saber cuál es el acierto. Eso se llama un banco de casos de prueba: un conjunto de ejemplos reales de tu negocio, cada uno con su respuesta correcta ya verificada por una persona. Es la herramienta más importante y la que casi todo el mundo se salta.
No hace falta que sea enorme. Para empezar, entre treinta y cien casos bien elegidos dicen mucho más que mil al azar. Lo que importa es que cubran la realidad:
- Casos típicos: lo que el agente verá el 80% de los días.
- Casos difíciles: los que a un humano nuevo le costarían. Una factura con dos importes, un correo ambiguo, un cliente que pregunta dos cosas a la vez.
- Casos trampa: entradas raras, incompletas o mal formadas. Aquí es donde un agente acierta de boquilla o se inventa la respuesta.
Con ese banco, evaluar deja de ser una intuición y pasa a ser una cuenta: de estos casos, ¿en cuántos acertó? Ese mismo banco es el que después usas para auditar lo que tu agente de IA decide cada día sin partir de cero.
¿Qué criterios de evaluación puede pedir cualquier directivo?
No necesitas saber programar para exigir estas cuatro cosas a quien construye o vende el agente. Son la base de una evaluación honesta.
¿Qué es la tasa de acierto sobre el banco de casos?
El porcentaje de casos en los que la respuesta del agente coincide con la respuesta correcta. Es el número rey. Pide que se fije antes de empezar: "este agente solo pasa a producción si acierta el 95% de los casos típicos y el 85% de los difíciles". Un umbral decidido después de ver los resultados no es un umbral, es una excusa.
¿Qué pasa cuando el agente se equivoca?
No todos los errores cuestan lo mismo. Equivocarse al etiquetar un correo como "no urgente" es leve. Equivocarse al aprobar un pago no lo es. Pide la lista de los casos fallados y el coste de cada tipo de fallo. Un 90% de acierto puede ser excelente o inaceptable según dónde caiga ese 10%.
¿Es consistente el agente ante la misma entrada?
Dale el mismo caso dos veces. ¿Responde lo mismo? Los agentes de IA pueden dar respuestas distintas a la misma entrada. Si vas a delegarle una decisión, necesitas saber cuánto varía. Un agente inconsistente es un agente que no puedes auditar.
¿Cómo se comporta el agente ante lo desconocido?
¿Qué hace cuando no sabe? El buen comportamiento es decir "no estoy seguro, lo paso a un humano". El malo es inventarse una respuesta con total aplomo. Pide ver casos fuera de su zona cómoda y observa si reconoce sus límites o los disimula.
Regla práctica: si quien te ofrece el agente no puede enseñarte su tasa de acierto sobre un banco de casos reales, no tiene una evaluación. Tiene una demo. Y una demo no es una prueba.
¿Qué probar antes de producción (y qué no se puede saltar)?
La evaluación tiene dos momentos: antes de soltarlo y después. Antes de producción, el orden es este:
- Define el acierto. Acuerda con el equipo qué cuenta como respuesta correcta. Si no hay acuerdo aquí, no hay nada que medir.
- Monta el banco de casos. Reúne ejemplos reales con su respuesta verificada. Incluye los difíciles y las trampas.
- Fija el umbral. Decide la tasa de acierto mínima para cada tipo de caso, por escrito, antes de mirar resultados.
- Mide y decide. Pasa el banco, cuenta aciertos, revisa los fallos uno a uno. Si no llega al umbral, no entra en producción: se rediseña.
Este filtro es la mitad del trabajo de un buen diagnóstico antes de implementar IA en la empresa. Saltárselo es precisamente por donde se cuelan los proyectos que parecían perfectos en la demo y fallan el primer mes.
¿Qué hacer después de producción? Supervisión muestral y deriva
Pasar la prueba no es el final. Un agente que acertaba el 95% en marzo puede bajar al 80% en junio sin que nadie lo note. Eso se llama deriva: el mundo cambia (nuevos tipos de cliente, nuevos formatos, nuevos casos) y el agente sigue igual. Por eso la evaluación no es un examen único, es una rutina.
La herramienta para esto es la supervisión muestral: revisar a mano un porcentaje pequeño de las decisiones reales, por ejemplo el 5%, y comprobar si siguen siendo correctas. Es barato, es continuo y te avisa antes de que el problema se haga grande. Aquí es donde el human in the loop, y cuándo aplicarlo, deja de ser teoría y se vuelve un control concreto.
La supervisión muestral también conecta la evaluación con el dinero: si conoces tu tasa de acierto y el coste de cada fallo, puedes calcular el retorno real de un agente de IA sin engañarte. Un agente barato que acierta poco puede salir carísimo.
¿Cuáles son las señales de que la evaluación falló?
A veces el agente pasa la prueba y aun así algo va mal. Conviene reconocer los síntomas pronto: decisiones que nadie revisa, errores que se descubren tarde, respuestas que cambian sin explicación. Son las mismas señales de un agente de IA fuera de control que indican que la supervisión se relajó. Una evaluación viva las detecta; una evaluación de un solo día, no.
Marcos públicos de referencia como el AI Risk Management Framework del NIST insisten en lo mismo desde el lado de la gobernanza: medir el desempeño de forma continua y documentada, no una vez. La idea de fondo es sencilla y poco glamurosa. Un agente de IA no se evalúa por lo bien que suena, sino por lo bien que acierta, y eso solo se sabe contándolo.