Glosario
Alucinación de la IA: qué es y cómo se evita en un sistema de stock
Definición
Una alucinación de la IA es una respuesta que suena convincente pero no es cierta ni está respaldada por los datos. Ocurre porque un modelo de lenguaje genera el texto más probable, no el verificado. En stock se evita haciendo que las cifras salgan de tu programa y de cálculos propios, nunca de la memoria del modelo, y exigiendo que cada respuesta indique su origen y su fecha.
Una alucinación es cuando una IA responde con seguridad algo que no es verdad. En una conversación casual es una anécdota. En un sistema que decide cuántas unidades mandar a cada tienda, es un riesgo que hay que diseñar para que no ocurra.
Qué es exactamente
La alucinación es la tendencia de los modelos de lenguaje a producir contenido plausible pero no factual, tal como lo describe el estudio de Huang y su equipo sobre alucinación en grandes modelos de lenguaje (2023). El texto es fluido, la forma es creíble y el fondo es falso o no verificable.
Pasa por cómo están hechos: un modelo de lenguaje se entrena para predecir la palabra siguiente más probable. Cuando no tiene el dato, no calla: completa con algo que encaja. Por eso las alucinaciones no suelen parecer errores. Parecen respuestas normales, y esa es la dificultad.
También se le llama
Hallucination en inglés, respuesta inventada, dato fabricado o confabulación. Se distinguen dos tipos: la de hecho (afirma algo falso, como un stock que no existe) y la de fidelidad (se aparta de lo que decían los datos que se le pasaron, por ejemplo resumiendo mal una tabla).
Un ejemplo
Un almacenista de material eléctrico le pregunta a un chat genérico: «¿cuántos magnetotérmicos de 16 A tenemos en la delegación de Bilbao?». El chat no tiene acceso a su almacén, pero contesta: «Según el último inventario, 148 unidades». Cifra, fuente y fecha plausibles, todo inventado. Si decide no pedir porque «hay 148», se queda sin producto cuando entra el siguiente pedido.
Una variante más sutil: el sistema sí tiene los datos, pero el modelo mezcla dos referencias parecidas (16 A y 10 A) y da la cifra de la equivocada. No se inventó la cifra, pero la atribuyó mal. Por eso no basta con que el asistente esté conectado: hay que enseñar el producto exacto, el sitio y la hora de lectura junto a cada respuesta.
Una tercera: la cifra es buena pero la explicación se inventa. «Se recomienda enviar 40 porque hay una promoción en Bilbao» cuando no existe tal promoción. El número es del cálculo; el porqué lo ha adornado el modelo. Las razones deben salir también de datos, no de la redacción.
Ojo con esto
Cosas que ayudan a no caer:
- No tomar la seguridad del tono por exactitud: el modelo suena igual de convencido cuando acierta que cuando se equivoca.
- Exigir la fuente de cada número: «de tu programa, hoy 07:00». Si no puede decirlo, no lo uses.
- Los cálculos se hacen con código, no con el modelo: las sumas, las previsiones y los riesgos deben salir de herramientas verificables.
- Permitir el «no lo sé»: un sistema bien hecho prefiere callar a rellenar.
- Probar con preguntas trampa: pedir un producto que no existe y comprobar que contesta que no lo encuentra.
- Revisar por muestreo: de cada tanda de respuestas, comprobar unas cuantas contra el programa.
Dónde aparece en el sistema
El asistente está diseñado para que no pueda inventar una cifra de stock: los números los traen consultas a tu programa y los cálculos de la previsión, y el modelo solo los redacta. Cada respuesta indica de dónde sale el dato y de cuándo es. Si no encuentra el producto o el sitio, lo dice. Es el esquema RAG, que reduce el problema aunque no lo elimine del todo, y por eso hay una persona que aprueba.
Antes de contratar puedes probarlo con tus datos en la simulación: se le hacen preguntas de las que conoces la respuesta y se comprueba. El diseño completo del asistente está en asistente de IA sobre tu ERP.
Términos relacionados
Modelo de lenguaje (LLM), RAG, explicabilidad, persona en el bucle y stock disponible.
Preguntas frecuentes
¿Se puede eliminar del todo las alucinaciones?
Con la tecnología actual no se puede garantizar. Se reducen mucho si las cifras salen de datos reales y no del modelo, y se detectan citando el origen. Por eso en stock la persona revisa y aprueba.
¿Cómo sabemos si una respuesta del asistente es una alucinación?
Comprobando el origen que cita: producto, sitio, fecha y programa. Si coincide con lo que ves en tu ERP, está bien. Si no cita origen o no lo encuentras, desconfía.
¿Pasa también con la previsión de ventas?
No en el mismo sentido: la previsión la calculan modelos estadísticos sobre tus series, no un modelo de lenguaje. Puede equivocarse, pero con un error medible, que se ve en la simulación.