Glosario
Sobreajuste: qué es y cómo se detecta en una previsión
Definición
El sobreajuste ocurre cuando un modelo de previsión se ajusta tanto a los datos con los que se construyó que captura también su ruido, y por eso falla con datos nuevos. Se reconoce porque el error sobre la historia es muy bajo y el error sobre semanas que el modelo no ha visto es mucho mayor. Se evita con modelos más simples, con menos parámetros de los que justifica la historia y con una validación sobre datos reservados.
Un modelo sobreajustado acierta de maravilla el pasado y falla con el futuro, porque ha aprendido el ruido de tu historia como si fuera una regla. Es el motivo de que algunas previsiones sofisticadas se demuestren peores que repetir la venta de la semana anterior. Te contamos cómo reconocerlo y cómo se evita.
Qué es exactamente
El sobreajuste es el resultado de un análisis que se corresponde demasiado con un conjunto concreto de datos y, por eso, no funciona con datos nuevos. Según la definición habitual, el modelo sobreajustado tiene más parámetros de los que los datos pueden justificar: captura el ruido, no solo la señal.
Un ejemplo cotidiano. Si en las últimas 26 semanas vendiste mucho los martes de lluvia, un modelo con suficiente libertad puede aprender «martes y lluvia, más ventas» y encajar esas 26 semanas casi sin error. Pero esa relación era casualidad. Cuando llega el siguiente martes lluvioso y no pasa nada, el modelo falla, y falla más que uno sencillo que se limitara a decir «la venta ronda las 40 unidades con algo de temporada».
En previsión de demanda el riesgo es mayor que en otras áreas porque la historia suele ser corta (uno o dos años de datos semanales) y la tentación de añadir variables es grande: festivos, clima, precio, promociones, competencia. Cada variable añade libertad al modelo, y con poca historia, esa libertad se gasta en memorizar.
También se le llama
Overfitting en inglés, sobreentrenamiento o ajuste excesivo. Su contrario es el subajuste (underfitting): un modelo tan simple que no capta ni la señal, como prever siempre la media aunque haya una temporada evidente.
Un ejemplo
Una empresa de material de oficina que reparte a toda España prueba dos modelos con 52 semanas de ventas de una referencia, una resma de papel. Guarda las últimas 8 semanas sin enseñárselas al modelo. El modelo A, sencillo (nivel y temporada), comete un error medio de 6 unidades sobre las 44 semanas que usa y de 7 sobre las 8 reservadas. El modelo B, con veinte variables, comete un error de 1 sobre las 44 semanas y de 11 sobre las 8 reservadas.
Mirando solo la historia, B parece siete veces mejor. Con datos que no ha visto, es peor que A. La señal de alarma no es el error sobre la historia, que siempre baja si das más libertad al modelo, sino la distancia entre ese error y el que se obtiene con datos reservados. Una distancia grande es el síntoma. Los números de este ejemplo son ilustrativos, no de un cliente.
La Wikipedia lo describe con una imagen sencilla: durante el ajuste, el error sobre los datos de entrenamiento baja sin parar, y el error sobre los datos reservados baja un rato y luego sube. El mejor modelo está donde ese segundo error es mínimo.
Ojo con esto
El sobreajuste se cuela de formas poco evidentes en una empresa:
- Evaluar el modelo con los mismos datos con que se construyó. Cualquier cifra de precisión calculada así es optimista; da igual lo bien que suene.
- Probar muchas variantes y quedarse con la mejor sobre la misma historia. Aunque cada variante sea honesta, la elegida se ha ajustado a esos datos; hace falta una tanda de datos intactos para la elección final.
- Reservar datos al azar en series temporales. Mezclar semanas pasadas y futuras filtra información del futuro al entrenamiento; la reserva debe ser el final de la historia (ver validación temporal).
- Confiar en un modelo porque es complicado. En previsión de demanda, un método sencillo bien medido suele igualar o ganar a uno complejo con poca historia.
- Olvidar los cambios: un modelo ajustado a un año con un cliente enorme sigue prediciendo ese cliente cuando ya no está.
Dónde aparece en el sistema
Es la razón por la que el sistema no se evalúa con la historia con la que aprende. Cada previsión se mide siempre sobre semanas que el modelo no había visto, y el método de cada producto se elige por lo bien que habría previsto el futuro, no el pasado. Con poca historia usamos modelos más simples, y solo añadimos variables (promociones, festivos) cuando mejoran el resultado sobre datos reservados.
Esa disciplina es la base de la simulación con tus datos: repetimos fechas pasadas con lo que se sabía ese día, justo para que no haya trampa posible. Para el detalle del procedimiento, mira la validación temporal.
Términos relacionados
Validación temporal, backtest, modo sombra, MASE, ARIMA y Holt-Winters. La guía de software de previsión de demanda explica qué preguntar a quien te vende uno.
Preguntas frecuentes
¿Cómo sé si mi previsión está sobreajustada?
Compara el error sobre los datos con los que se construyó con el error sobre semanas que el modelo no ha visto. Si el segundo es mucho mayor que el primero, está sobreajustada. Si el proveedor solo te enseña la precisión sobre tu historia, pídele la otra.
¿Cuánta historia hace falta para evitarlo?
No hay un mínimo mágico, pero cuantas menos semanas tengas, más sencillo debe ser el modelo. Con un año de datos semanales, una temporada se ve una sola vez y cualquier modelo con muchas variables corre peligro.
¿La inteligencia artificial sobreajusta más?
Los modelos con mucha capacidad pueden hacerlo si hay poca historia, sí. Por eso su ventaja solo se acepta cuando se demuestra sobre datos reservados y no sobre los de entrenamiento.
¿Es lo mismo que un modelo malo?
No. Un modelo sobreajustado puede parecer excelente sobre el pasado. Es peor: da una confianza falsa que lleva a pedir con seguridad cantidades equivocadas.