Cómo medir si la IA está funcionando en tu empresa

"Parece que anda bien" es la frase más peligrosa de un proyecto de IA. A veces es cierto. Otras veces quiere decir que nadie se quejó todavía, o que la persona que lo impulsó tiene ganas de que funcione. Sin números, un piloto no termina nunca: se queda por inercia o se apaga por una mala tarde.

Esta guía te muestra cómo medir de forma simple, sin un equipo de datos, si una herramienta o un asistente de IA está mejorando algo en tu empresa.

Elegí los indicadores antes de empezar

El error más común es medir después y elegir el número que mejor queda. Definí antes de prender nada qué vas a mirar y qué resultado considerás un éxito. Para la mayoría de los usos en una pyme alcanzan cinco indicadores:

No hace falta usar los cinco. Elegí uno principal (el que justifica el proyecto) y uno o dos de control (los que te avisan si estás ganando por un lado y perdiendo por otro). Por ejemplo: resolución como principal, error y satisfacción como control. Una IA que resuelve mucho pero se equivoca seguido no es un éxito.

Escribí la meta en una frase, con número y plazo. Un ejemplo hipotético: "En cuatro semanas, resolver sin derivar al menos 35% de las consultas de envíos, con menos de 2% de respuestas incorrectas y sin más reclamos que hoy". Los números de ese ejemplo son ilustrativos; los tuyos salen de tu línea de base.

Tomá una línea de base

Para saber si algo mejoró, necesitás saber cómo estaba. Antes del piloto, medí durante una o dos semanas lo mismo que vas a medir después:

• Volumen: cuántas consultas, pedidos o documentos por semana.
• Tiempo: cuánto lleva cada tarea. No hace falta un cronómetro para todo; alcanza con medir una muestra de 20 o 30 casos.
• Calidad actual: cuántos errores comete hoy el proceso manual. Este punto se olvida seguido, y es clave: si tu equipo se equivoca en 3 de cada 100 presupuestos, no le pidas cero a la IA, pedile no empeorar.
• Satisfacción actual: reclamos, comentarios, la percepción del propio equipo.

Si no tenés datos ordenados, la línea de base puede ser una planilla simple que alguien completa a mano dos semanas. Es poco trabajo y hace toda la diferencia al final.

Cómo contar bien

Algunas trampas frecuentes:

• "Resuelta" no es "respondida". Una consulta está resuelta si la persona no tuvo que volver a escribir por lo mismo ni pedir hablar con alguien. Revisá una muestra para confirmarlo.
• El tiempo ahorrado tiene que incluir el tiempo nuevo. Si la IA redacta en un minuto pero alguien revisa durante cinco, el ahorro es la diferencia con lo que llevaba antes, no los minutos de la IA.
• Los errores no se ven solos. Nadie avisa cuando una respuesta incorrecta pasa inadvertida. Hay que buscarlos: revisá una muestra al azar, no solo los casos que alguien marcó.
• Una semana atípica engaña. Un feriado, una promoción o un problema con un proveedor cambian el volumen y el tipo de consultas. Anotá esas cosas junto a los números.
• Si cambiaste dos cosas a la vez, no sabés cuál funcionó. Lo aprendimos midiendo nuestros propios juegos: lo contamos en lo que aprendimos publicando juegos en CrazyGames.

La revisión semanal: 30 minutos

Medir no es un informe trimestral. Es una rutina corta, siempre el mismo día, con las mismas personas. Una agenda que funciona:

1. 1.Números de la semana (5 minutos). Los indicadores elegidos, comparados con la línea de base y con la semana anterior.
2. 2.Diez conversaciones o casos al azar (15 minutos). Leídos entre todos. Se anota cada error y cada respuesta mejorable.
3. 3.Decisiones (10 minutos). Qué se corrige: un dato que faltaba, una regla de derivación, una instrucción ambigua. Una persona responsable y una fecha para cada cambio.

Llevá un registro simple: fecha, números, errores encontrados y cambios hechos. Ese registro es lo que vas a mirar para decidir al final del piloto, y es también el mejor material para entrenar a quien se sume.

Un hábito que en nuestro estudio de juegos rindió mucho: cada error encontrado se convierte en una regla o en una verificación que se repite sola. Lo explicamos en QA automático con IA.

Cuándo cortar, corregir o ampliar

Escribí los criterios de decisión el primer día, junto con la meta. Una propuesta:

• Ampliar si cumple la meta principal y los indicadores de control no empeoraron frente a la línea de base, durante al menos dos semanas seguidas. Ampliar quiere decir sumar una categoría o un proceso más, no todo de golpe.
• Corregir si está cerca de la meta y los errores tienen causas claras (información que faltaba, una regla mal escrita). Date una o dos rondas de corrección con plazo.
• Cortar si después de esas rondas no se acerca a la meta, si la tasa de error sube, o si aparece un riesgo que no se puede controlar (por ejemplo, datos personales donde no debían estar). Cortar un piloto no es un fracaso: es la razón de hacer un piloto.

También hay una señal cualitativa que vale la pena escuchar: si el equipo dejó de usarlo. Una herramienta que nadie abre no ahorra nada, por buenos que sean sus números en la prueba.

Qué mirar en los costos

Junto con los indicadores de resultado, seguí el costo real del piloto: el uso del modelo, las horas de configuración y las horas de revisión. Así, al final, podés comparar el tiempo ahorrado con lo que costó ahorrarlo. Cómo se arma ese cálculo lo explicamos en cuánto cuesta implementar IA en una pyme.

Checklist

• Hay un indicador principal y uno o dos de control, elegidos antes de empezar.
• La meta está escrita con número y plazo.
• Se tomó una línea de base de una o dos semanas, incluida la tasa de error actual.
• Está definido qué cuenta como "resuelto".
• Hay una revisión semanal agendada, con responsable.
• Cada semana se leen casos al azar, no solo los marcados.
• Los criterios para ampliar, corregir o cortar están escritos.
• Se registra el costo real del piloto.

Si estás por arrancar y querés ver cómo encaja la medición en el resto del proceso, seguí con el plan de 30 días para empezar con IA en una pyme.