El coste real de una alucinación y cómo prevenirlo

Cuando se discute la fiabilidad de un sistema de IA, la conversación tiende a centrarse en la frecuencia de las alucinaciones. Es la pregunta equivocada. La pregunta correcta es cuánto cuesta cada una y a qué nivel de coste estamos dispuestos a vivir.

El coste tiene varias capas

• Coste directo: la decisión equivocada o la información incorrecta entregada al cliente.
• Coste de revisión: el tiempo que alguien dedica a detectar y corregir el error.
• Coste de confianza: el descrédito que sufre el sistema cuando aparecen varios errores seguidos.
• Coste de oportunidad: lo que el equipo deja de hacer porque está desconfiando del sistema.

En los proyectos donde trabajamos, el coste que más subestiman las organizaciones es el tercero. Una alucinación visible en una reunión puede deshacer meses de adopción. La pérdida de confianza no es lineal: es escalonada y, una vez perdida, cuesta mucho recuperarla.

Cómo se previene en la práctica

No hay una sola palanca. La prevención efectiva combina varias capas que actúan a distinto nivel y con distinto coste. Ninguna por separado basta.

• Acotar el alcance: si el sistema solo debe contestar dentro de un dominio, hay que rechazar explícitamente lo que cae fuera.
• Citar fuentes: forzar al modelo a apoyarse en documentación recuperada y mostrar de dónde viene la respuesta.
• Validación automática: comprobar la salida con reglas, esquemas o un segundo modelo antes de mostrarla.
• Humano en el bucle para casos sensibles: aceptar que ciertas decisiones siempre requieren revisión.

Cuánto presupuestar

Una pregunta más útil que cuántas alucinaciones tendremos es cuántas podemos asumir. La respuesta depende del proceso. Para una herramienta interna de redacción, una tasa moderada con revisión humana es aceptable. Para un sistema que envía correos automáticos a clientes, la tolerancia se acerca a cero y eso debe reflejarse en el presupuesto: validación, revisión, monitorización continua, plan de incidentes.

Si el presupuesto del proyecto no incluye estas partidas, el sistema va a producir alucinaciones que nadie estará vigilando. Y ese es exactamente el escenario que más caro sale.