Glosario
¿Qué es un backtest de previsión de demanda?
Definición
Un backtest es una prueba de un método de previsión o de reposición con datos históricos: se elige una fecha pasada, se calcula la previsión o el pedido usando solo la información disponible ese día, se compara con lo que pasó después y se repite avanzando la fecha. En los manuales se llama validación cruzada de series temporales u origen de previsión móvil. Es la forma honesta de medir un sistema antes de ponerlo en marcha.
Un backtest responde a la única pregunta que importa antes de fiarte de un sistema de reposición: si lo hubieras usado el año pasado, ¿qué habría pasado? Se coloca el sistema en una fecha pasada, se le da solo lo que se sabía ese día y se compara lo que habría pedido con lo que se vendió de verdad.
¿Qué es exactamente un backtest?
Un backtest es la evaluación de un método de previsión sobre fechas pasadas, sin dejarle ver el futuro. El manual Forecasting: Principles and Practice lo describe como validación cruzada de series temporales o evaluación con un origen de previsión móvil: una serie de pruebas en las que cada entrenamiento usa solo los datos anteriores a la fecha que se prueba, de modo que ninguna observación futura entra en el cálculo. La precisión se calcula como la media de todas esas pruebas.
El mismo manual insiste en la diferencia entre el error en los datos de entrenamiento (residuos) y el error en datos que el modelo no ha visto (errores de previsión). Solo el segundo dice algo de cómo funcionará el sistema mañana. Un método que se ajusta perfecto al pasado puede fallar en cuanto sale de él.
También se le llama
Backtesting, prueba con datos históricos, validación cruzada temporal, evaluación con origen móvil, simulación retrospectiva. Cuando se hace después con datos en vivo, pero sin actuar, se llama modo sombra.
Un ejemplo
Una distribuidora de bebidas con 30 bares quiere saber si el sistema habría pedido mejor que su encargado en el último verano. Se coloca la fecha en el lunes 3 de junio. El sistema solo ve las ventas, el stock y los pedidos hasta ese día, y propone los envíos de la semana. Se comparan con lo que se vendió del 3 al 9 de junio y con lo que mandó el encargado. Se avanza al lunes 10 y se repite, hasta septiembre: 14 semanas.
Al final se comparan las dos columnas con las mismas medidas: unidades servidas a la primera (fill rate), días con algún bar a cero, stock medio en euros y error de previsión (WMAPE y sesgo). Si el sistema no gana en lo que importa a esa empresa, no se sigue.
Ojo con esto
La trampa más común es la fuga de información: que el cálculo use, sin querer, algo que en la fecha simulada no se sabía.
- Usar el stock de hoy en vez del de la fecha simulada.
- Tomar la temporada calculada con todo el año, incluida la parte que se está probando.
- Probar solo en las semanas fáciles: hay que incluir picos, festivos y roturas.
- Comparar con un rival débil: la referencia tiene que ser lo que hizo de verdad tu equipo o una regla de mínimo y máximo bien puesta.
- Medir solo la previsión: lo que importa es el resultado en stock y servicio, no el error de la previsión aislado.
Dónde aparece en el sistema
El backtest es la primera fase de la simulación con tus datos, antes de contratar: repetimos fechas pasadas de tu negocio con lo que se sabía ese día y te enseñamos, semana a semana, lo que habría mandado el sistema frente a lo que se hizo. Después vienen uno o dos meses en modo sombra. Para empezar, el análisis gratuito.
Términos relacionados
Modo sombra, MAPE, WMAPE, sesgo de previsión e intervalo de predicción.
Preguntas frecuentes
¿Cuánto histórico hace falta para un backtest?
Lo suficiente para entrenar y además para probar. El manual citado sugiere reservar para prueba en torno al 20 % de la muestra, y al menos tanto como el horizonte que quieres prever. Con dos años de ventas semanales, se pueden probar varios meses con holgura.
¿Un backtest garantiza el resultado futuro?
No. Dice cómo habría funcionado en condiciones parecidas. Por eso después se hace el modo sombra con datos en vivo, antes de que el sistema mande nada.
¿Con qué comparamos?
Con lo que hizo tu equipo esas mismas semanas y, si quieres, con una regla de mínimo y máximo. La comparación tiene que usar las mismas medidas y las mismas semanas.
¿Tenemos que darle acceso a todo nuestro ERP?
Basta con exportaciones de ventas, stock y compras del periodo, o un usuario que solo pueda leer. La guía <a href="/control-de-stock/guias/que-datos-necesita-un-predictor-de-stock/">qué datos necesita un predictor</a> lo detalla.