Glosario
Explicabilidad: qué es y por qué importa en una propuesta de pedido
Definición
La explicabilidad es la capacidad de un sistema de IA de mostrar por qué ha llegado a un resultado, en términos que una persona pueda revisar. En stock significa que cada envío propuesto indica el stock actual, la venta prevista, el plazo del proveedor y el riesgo de rotura que cubre. No es lo mismo que enseñar el interior del modelo: es dar las razones suficientes para aprobar, corregir o rechazar.
Una propuesta de reposición sin explicación es una orden que hay que creerse. Con explicación, es una propuesta que se puede discutir: «mando 15 porque en Sevilla quedan 8, se venden 12 por semana y el camión tarda tres días». Explicabilidad es, simplemente, que cada cifra venga con su porqué.
Qué es exactamente
La explicabilidad es la propiedad de un sistema que permite a una persona entender qué datos y qué razones han pesado en un resultado concreto. No exige abrir el modelo matemático. Exige que el resultado venga acompañado de las cifras de las que depende y de cómo se combinan, en un lenguaje que quien decide pueda comprobar.
Se distingue de la interpretabilidad, que es que el propio modelo sea lo bastante simple para entenderlo entero (una regresión, un árbol pequeño). Un modelo complejo puede ser poco interpretable y aun así dar explicaciones útiles de cada decisión.
También se le llama
IA explicable, XAI (de explainable AI), explainability en inglés o transparencia del modelo. En derecho europeo se habla de transparencia y de supervisión humana, que es donde la explicación se vuelve un requisito práctico.
Un ejemplo
Un distribuidor de recambios de bicicleta ve esta propuesta en su lista del lunes: «Cámara 700x25, tienda de Valencia: enviar 24 unidades». Sin más, es una cifra. Con explicación aparece al lado: stock en Valencia, 9 unidades; venta prevista las próximas dos semanas, 22 (rango 17 a 29); la furgoneta llega el jueves; las cámaras vienen en cajas de 12; con 24 el riesgo de quedarse a cero antes de la siguiente entrega baja del 41 % al 6 %.
Con esa frase la persona de almacén puede reaccionar con criterio: «sé que Valencia tiene una feria de ciclismo el sábado, súbela a 36», o «el proveedor ya me ha dicho que la próxima caja llega antes, déjala en 12». La explicación no sirve para convencer, sino para que la persona corrija con información que el sistema no tiene.
Hay un segundo nivel: explicar los factores de la previsión. Una venta prevista alta puede deberse a la estacionalidad de la temporada, a una promoción activa o a una tendencia reciente. Mostrar cuál pesa más ayuda a detectar errores, como una promoción que ya terminó pero sigue en los datos.
Ojo con esto
Las confusiones habituales:
- Tomar la explicación bonita por la verdadera: un texto fluido no prueba que las razones sean las reales. Las cifras citadas deben salir del cálculo, no inventarse al redactar.
- Explicar de más: diez factores con la misma importancia no explican nada. Se muestran los dos o tres que más pesan.
- Pedir explicabilidad solo cuando algo falla: es útil precisamente cuando todo sale razonable, para que la persona no apruebe por inercia.
- Dar por hecha la objetividad: una explicación coherente puede apoyarse en datos malos, como un stock mal contado. Revisar el dato de entrada sigue siendo parte del trabajo.
- Confundirla con la auditoría: explicar una propuesta no sustituye guardar el registro de qué se propuso, qué se aprobó y qué pasó después.
Dónde aparece en el sistema
Es una regla de diseño del sistema que montamos: ningún envío sale sin su porqué. En la lista semanal, cada línea trae el stock actual, la venta prevista con su rango, el plazo y el riesgo antes y después. El asistente responde a «¿por qué mandas 15?» con esos mismos números y diciendo de dónde sale cada uno: del programa, de la previsión o de una regla que fijaste tú.
Es también la base de la persona en el bucle: la persona aprueba o cambia, y para eso necesita razones, no solo resultados. Se puede ver cómo queda con tus datos en la simulación y cómo se conversa con el sistema en el asistente sobre tu ERP.
Términos relacionados
Pedido sugerido, alucinación de la IA, asistente conversacional, calibración y persona en el bucle.
Preguntas frecuentes
¿Explicabilidad significa que nos enseñáis el algoritmo?
No hace falta. Lo que se enseña son las razones de cada propuesta: las cifras de partida, la previsión y la regla aplicada. Con eso puedes revisar cada decisión sin entender la matemática del modelo.
¿La explicación puede estar equivocada?
Puede apoyarse en un dato erróneo, por ejemplo un stock mal contado. Por eso cada cifra se cita con su origen, para que se pueda comprobar contra el programa.
¿Obliga la ley a explicar las decisiones de una IA de stock?
El Reglamento europeo de IA exige supervisión humana efectiva en los sistemas de alto riesgo, y un sistema de reposición de stock no suele estar en esa categoría. Aun así, explicar cada propuesta es buena práctica; confírmalo con tu asesor si tienes dudas.