Glosario
Calibración de una previsión: qué es y cómo se comprueba
Definición
La calibración mide si las probabilidades de una previsión se cumplen en la realidad. Un intervalo del 80 % está bien calibrado si el valor real cae dentro en torno al 80 % de las veces. Si cae el 60 %, el modelo va sobrado de confianza; si cae el 95 %, va demasiado cauto y manda más stock del necesario. Se comprueba repitiendo fechas pasadas y se corrige ajustando la anchura de las bandas.
Una previsión calibrada es una que cumple lo que promete: si dice que hay un 90 % de probabilidades de no quedarse sin producto, de cada diez semanas con ese aviso debería fallar una. Parece obvio, pero casi ninguna previsión se mide así. Y sin esa medida, las bandas y los porcentajes no valen para decidir.
Qué es exactamente
La calibración es la coincidencia entre la probabilidad que anuncia una previsión y la frecuencia con la que ocurre de verdad. No habla de si la previsión central acierta (eso es la precisión, que se mide con el MAPE o el WMAPE), sino de si la incertidumbre que declara es honesta.
El manual de referencia de Hyndman y Athanasopoulos lo formula así para los intervalos: un intervalo de predicción del 80 % debe contener el valor real alrededor del 80 % de las veces, y uno del 95 %, alrededor del 95 %. A esa proporción se le llama cobertura. Una previsión calibrada tiene una cobertura real cercana a la nominal.
También se le llama
Previsión calibrada, cobertura de los intervalos, fiabilidad de las probabilidades o calibration en inglés. Cuando la banda es demasiado estrecha se dice que el modelo es sobreconfiado; cuando es demasiado ancha, que es conservador.
Cómo se calcula
Se toman muchas previsiones del pasado, cada una con su banda del 80 %, y se cuenta en cuántas cayó dentro el dato real. Cobertura = semanas dentro de la banda ÷ semanas totales. La diferencia entre la cobertura nominal (80 %) y la real es el error de calibración.
Un ejemplo con una familia de 50 productos en una tienda, a lo largo de 52 semanas, que da 2.600 previsiones. Si la banda del 80 % contuvo el valor real en 1.820 casos, la cobertura es del 70 %. El modelo declara un 80 % y cumple un 70 %: sobreconfiado. El P90 de esa familia, que se esperaba superar una semana de cada diez, se superó en realidad una de cada cinco. Con ese P90 se pedía poco y las roturas eran el doble de las previstas.
La corrección habitual es ensanchar la banda hasta que la cobertura vuelva al 80 % en un periodo de prueba, sin mirar el futuro. Si la cobertura sale del 93 %, se estrecha: se estaba guardando de más. Conviene revisar la calibración por grupos (familias, tamaño de tienda, productos de poca venta), porque el modelo puede estar bien en el total y mal en los productos de venta intermitente.
Ojo con esto
Los tropiezos más frecuentes:
- Medir la calibración con los mismos datos con los que se ajustó el modelo: sale siempre mejor de lo real. Se hace con semanas que el modelo no vio.
- Confundir calibración con precisión: un modelo puede acertar la media y tener bandas falsas, o al revés.
- Mirar solo el total: una cobertura del 80 % global puede esconder un 55 % en productos de baja rotación y un 95 % en los de alta.
- Fiarse de la anchura bonita: una banda estrecha parece mejor, pero si no se cumple, sirve de poco. La Winkler y la CRPS premian bandas estrechas que además cubren.
- Calibrar una vez y olvidarse: cuando cambia el comportamiento de las ventas (un competidor, una promoción permanente), la calibración se desajusta.
Dónde aparece en el sistema
En el sistema, la calibración es una de las pruebas de la simulación con tus datos. Antes de contratar se repiten fechas pasadas de tu negocio con lo que se sabía cada día y se cuenta cuántas veces el riesgo de rotura anunciado se cumplió. Después, en el modo sombra, se sigue midiendo con tus semanas reales.
Si el riesgo de rotura del mapa de stock dice «se acaba» en un producto, ese aviso se apoya en cuantiles que se han contrastado así. Los cuantiles de partida están explicados en previsión por cuantiles y el método en la pieza de previsión de demanda.
Términos relacionados
Intervalo de predicción, backtest, modo sombra, sesgo de previsión, WMAPE y explicabilidad.
Preguntas frecuentes
¿Qué cobertura es aceptable para un intervalo del 80 %?
Con pocos datos puede variar unos puntos por azar. Si en un año de semanas la cobertura queda entre el 75 % y el 85 %, es razonable. Por debajo del 70 % el modelo es demasiado seguro de sí mismo y conviene corregirlo.
¿Una previsión puede estar calibrada y ser mala?
Sí. Puede decir la verdad sobre su incertidumbre y aun así tener bandas muy anchas porque predice poco. Se busca que esté calibrada y, además, que las bandas sean lo más estrechas posible.
¿Se puede calibrar con pocos meses de histórico?
Se puede empezar, pero con menos de un año la medida es poco fiable, sobre todo en productos con temporada. En esos casos se calibra por grupos de productos parecidos y se revisa cada mes.