Medir la precisión de los pronósticos

Para exponer las principales herramientas de precisión de los pronósticos hay que tener en cuenta dos interrogantes pertinentes en la evaluación del modelo.

1. ¿Los modelos que mejor se ajustan a los datos históricos son igual de efectivos al pronosticar?
2. ¿Cuántas medidas de precisión existen y en qué casos aplicar cada una de ellas?

Al final es posible que no se quede con un sólo criterio de selección, además del coste que ello implica, pero tendrá más información que le ayudará a la evaluación del resultado de los pronósticos. Se presentan recomendaciones para medir la efectividad del modelo de pronóstico durante el proceso de selección y después de él.

1. ¿Los modelos que mejor se ajustan a los datos históricos son igual de efectivos al pronosticar?

Existe evidencias significativas que un modelo que ajusta bien a los datos históricos, no necesariamente pronostica bien. ¿Entonces para qué evaluar la precisión de un modelo de pronóstico en función de su capacidad de ajuste a los datos históricos? ¿Qué alternativas existen para evaluar un modelo en función de su capacidad de pronosticar?

Una de las alternativas es dividir la información en dos conjuntos. El primer conjunto le podemos denominar datos de control y utilizarlo para encontrar el mejor modelo de pronóstico. Y al segundo conjunto etiquetarlo como datos de predicción y no incluirlos en el análisis inicial. La cuestión es ¿qué cantidad de datos tomar para cada conjunto de información? Por ejemplo si usted dispone de 4 años de información histórica divididos en forma mensual, puede tomar los tres primeros años para los datos de control y el resto para los datos de predicción. O bien dejar los últimos 6 o 3 meses para esta última actividad. Existe una gran variedad de combinaciones que siempre estarán sujetas a las necesidades y resultados esperados de cada organización.

Para los datos de control, será necesario seleccionar el modelo de pronóstico que mejor ajusta a los datos históricos, pero ¿Cuántas formas de medición existen? ¿Todas tienen la misma funcionalidad? ¿El qué tiene menor error o el de mayor complejidad y variables? Se sabe que a medida que aumentan las variables en el modelo, el error puede disminuir. Con relación a los datos de predicción. ¿Cómo determinar aquél que pronosticó mejor? O ¿qué medida utilizar para este fin? En los siguiente párrafos expondré alternativas para solucionar estas interrogantes.

2. ¿Cuántas medidas de precisión existen y cómo aplicar cada una de ellas?

Para cada uno de los escenarios que usted genere será necesario medir el desempeño de ellos mediante indicadores de precisión. Se requiere definir un criterio para la precisión del pronóstico (datos de predicción) y otra para la selección del modelo (datos de control). No todos tendrán el mismo significado ni el mismo uso.

En la siguiente tabla se muestran las medidas de error más utilizadas. En donde et es el error del pronóstico, Yt el valor real observado y Ft es utilizado para identificar el valor pronosticado.

Como se puede observar en dicha tabla existen más de 15 herramientas para medir el error del pronóstico, y su cantidad complica la selección de la medida de precisión más adecuada para el modelo de predicción. Por ejemplo, si seleccionamos aquellas de errores absolutos en lugar de los cuadráticos, éstos penalizan en mayor medida los errores grandes. La elección dependerá de la importancia que se les dé a los grandes errores.

Una medida muy utilizada en la práctica de los pronosticadores es el MAPE, pero ésta presenta sesgos que favorece a los pronósticos que están por debajo de los valores reales.

Para evitar ese problema, puede utilizarse el sMAPE. Pero éste indicador también tiene los propios, ya que tiene un comportamiento no deseado cuando el valor real o el pronóstico están muy cerca de cero.

Una de las mejores medidas para seleccionar el mejor modelo de pronóstico es el MSE o RMSE, pero a pesar su efectividad probada ésta no es muy utilizada entre los pronosticadores.

Con este breve antecedente, lo que recomiendo utilizar en la práctica es dividir las diferentes alternativas de medición del error en tres: a) Medidas de selección y b) Medidas de interpretación, y c) Medidas de precisión. En esta división no se incluyen todas las que aparecen en la mencionada tabla, pero si las más significativas que son producto de más de 15 años de experiencia en el tema y en más de 200 empresas. Como siempre el lector tendrá el último comentario con base en la información que dispone y los datos de la empresa en la que participa.

a) Medidas de selección.

En la primera sección de este artículo, se sugirió dividir la serie de tiempo de dos partes. Una parte la denominamos datos de control y otra datos de predicción. En esta sección haremos referencia a la primera, y con ella encontrar el mejor modelo de pronóstico que presente el mínimo error. Las herramientas que nos ayudan a cumplir este objetivo son:

• MSE (Mean Square Error): Es el promedio de los cuadrados de las diferencias de cada artículo en el periodo t y se utiliza para comparar la precisión entre diferentes métodos o criterios de pronóstico. Según mi experiencia esta medida o la siguiente son las más recomendadas para seleccionar el mejor método de pronóstico.
• RMSE (Root Mean Square Error): Esta medida es la raíz del promedio de los cuadrados del error de cada artículo en el periodo t y también se utiliza para comparar la precisión de diferentes métodos de pronóstico. La diferencia con la anterior es que el resultado está en las unidades originales de la información histórica.

b) Medidas de Interpretación.

• MPE (Mean Percentage Error): Es la media del error porcentual. Es una métrica simple, que sirve para ver si el error del pronóstico tiene un sesgo (bias) positivo o negativo. También se dice que el pronóstico está subestimado o sobrestimado. Un pronóstico sobre estimado puede generar: exceso de inventario, sobre costos, rechazos por obsolescencia, costos por mermas, entre otros. Un pronóstico subestimado puede producir: reducción en los niveles de servicio, costo por pérdida de ventas, incremento en el costo por el re-procesamiento de órdenes, entre otros.
• MAPE (Mean Absolute Percentage Error): Es la media de los errores porcentuales en valor absoluto, no considera el signo del error sólo la magnitud. El MAPE es una de las medidas más utilizadas a nivel mundial, pero no se recomienda para la selección de un método de pronóstico puesto que ésta presenta sesgos que favorece a los pronósticos que están por debajo de los valores reales.
• WMAPE (Weighted Mean Absolute Percentage Error): Es el MAPE ponderado por el peso de las ventas, compras o servicios ofrecidos. Es un indicador que con la ponderación del total minimiza los efectos de productos con grandes variaciones pero con poco impacto en los valores reales. Pero presenta los mismos problemas que el MAPE.

c) Medida de Precisión

En esta sección se hace referencia a la segunda porción de información denominada datos de predicción que se describe en el número 1 de este artículo. Recuerde que tenemos que probar que tan efectivo fue el modelo o los modelos seleccionados para pronosticar. El indicador más utilizado para medir la efectividad del modelo seleccionado es el  FA (forecast accuracy) que describo a continuación:

• FA (forecast accuracy). La forma más común de medir la precisión de un pronóstico (forecast accuracy) es comparar los resultados del pronóstico contra los valores reales del siguiente periodo.El objetivo es encontrar valores cercanos a 1 para emitir juicios favorables sobre el modelo de pronóstico seleccionado. Este indicador se puede utilizar para medir la precisión por semana, por mes, por ítem o de acuerdo a sus necesidades de representación. La fórmula para es indicador es:

           FA (forecast accuracy) = 1 – ea(%).

Conclusiones y recomendaciones

Si bien la precisión es una cualidad importante en la selección de un modelo de pronóstico, no es la única a considerar en la selección y evaluación de un modelo de pronóstico. Las características de la información como: 1) El tamaño o el horizonte de tiempo de los datos históricos, 2) el comportamiento de la información y 3) el tipo de relación del pronóstico también deben considerarse en la elección.

Si usted busca seleccionar el modelo que mejor ajusta a sus datos históricos, no use el MAPE, ni el WMAPE estos son indicadores de interpretación relativos y tienden a presentar sesgos.

El MSE o la RMSE presentan mejores resultados para dicho efecto. Al seleccionar un modelo de pronósticos compare precisión contra pertinencia y no olvide el costo que esto representa. Recuerde que no siempre los modelos más complicados son más precisos que los más simples y por lo general menos costosos. Tal vez no posea un criterio único para juzgar la selección de un modelo en ciertas situaciones, en cualquier caso es necesario contar con varios de ellos y siempre dependerán de lo que se va a pronosticar y de la experiencia del pronosticador.

Dependiendo del uso que se le dé a las predicciones a corto, medio y largo plazo, la importancia del horizonte de predicción debe ser tomada en cuenta a la hora de definir un criterio de selección de modelos. Es posible que sea más adecuado un modelo de pronóstico que tengo menor efectividad en el corto y mayor al mediando plazo y viceversa.