Los métodos de predicción puntual consisten en estimar un único valor como el resultado esperado de una variable en el futuro. Es el enfoque más común en muchas aplicaciones, ya que proporciona una cifra concreta y fácil de interpretar.

Por ejemplo, en el sector energético, un modelo de producción eólica puede predecir que la generación será de 35 MWh a una hora determinada. Su principal ventaja es la simplicidad, lo que facilita su uso en la toma de decisiones operativas.

Sin embargo, una gran desventaja es que no refleja la incertidumbre de la predicción, lo que puede llevar a errores significativos si las condiciones que afectan a la producción cambian inesperadamente.

Por otro lado, los métodos de predicción probabilista no proporcionan un único valor, sino una distribución de probabilidad de los posibles resultados, permitiendo cuantificar la incertidumbre del modelo predictivo. En lugar de estimar que la generación eólica será exactamente 35 MWh, un modelo probabilista podría indicar que hay un 80% de probabilidad de que esté entre 30-40 MWh.

El modelo probabilístico, como enfoque clave para la gestión del riesgo

Las decisiones operativas basadas en distribuciones predictivas pueden generar mayores beneficios en comparación con aquellas que dependen únicamente de predicciones puntuales.

Aunque su implementación y análisis son más complejos, resulta fundamental en sectores donde la gestión del riesgo es clave, como en la energía, la meteorología y las finanzas.

En este sentido, los modelos probabilísticos producen una distribución de resultados junto con probabilidades asignadas, lo que permite:

Mejorar sustancialmente la gestión de riesgos al considerar múltiples escenarios.

Diseñar estrategias de trading que obtienen mejores resultados económicos en entornos de incertidumbre.

Conformal Prediction: midiendo la incertidumbre

Es importante señalar que no por el mero hecho de que las predicciones indiquen probabilidades asociadas, los intervalos de predicción están necesariamente calibrados y son válidos para representar el riesgo en el uso de los sistemas de forecasting.

Para ello, será necesario incluir en los algoritmos de predicción, técnicas que permitan generar intervalos de predicción válidos en términos de cobertura empírica en muestras finitas.

Conformal Prediction (CP) es un marco metodológico que permite generar intervalos de predicción con garantías de validez sin necesidad de asumir una distribución específica de los datos de entrada. Su principal ventaja es que proporciona garantías formales de cobertura para cualquier nivel de confianza, lo que lo convierte en una herramienta atractiva para la predicción probabilística en el sector energético.

En la experiencia de Gnarum, CP se ha consolidado como un paradigma de calibración muy valiosa para aportar confiabilidad a los sistemas de forecasting.

Sus características son las siguientes:

Flexibilidad: No requiere suposiciones sobre la distribución de los datos.

Agnosticismo: Puede aplicarse a cualquier tipo de modelo predictivo, desde regresiones lineales hasta redes neuronales profundas.

Adaptabilidad: Mediante la implementación de estrategias de calibración adecuadas a cada caso de uso, es posible ajustar dinámicamente el tamaño de los intervalos de predicción en función del comportamiento de modelos de predicción puntual subyacentes.

Métricas de evaluación

Para verificar un sistema de predicción probabilística se precisa del cálculo de métricas tanto de la precisión puntual, como de validez y nitidez de los intervalos de predicción.

Dentro de las distintas posibilidades de selección de KPIs, a continuación, se especifican las métricas principales para verificar un forecast de estas características.

1. Predicciones puntuales

Las métricas utilizadas para evaluar la precisión puntual de un modelo o sistema pueden clasificarse en dos grandes grupos según la norma matemática que se emplea para calcular el error: métricas basadas en L1 y métricas basadas en L2.

Norma L1

Las métricas bajo la norma L1 se fundamentan en el valor absoluto de los errores entre los valores estimados y los valores reales observados.

Es menos sensible a valores atípicos (outliers).

Facilita una interpretación intuitiva, ya que mide el error en las mismas unidades que los datos originales.

El indicador de referencia de este grupo es el MAE (Mean Absolute Error) – Error absoluto medio.

MAE = (1 / n) * Σ |y_i − ŷ_i|

---

Norma L2

Las métricas asociadas a la norma L2 están basadas en el error cuadrático medio, y a menudo se expresan en las unidades originales aplicando la raíz cuadrada de la media de errores cuadráticos.

Penaliza más los errores grandes.

Es sensible a valores atípicos (outliers).

El indicador de referencia de este grupo es el RMSE (Root Mean Squared Error) – Raíz Cuadrada del error cuadrático medio./p>

RMSE = √( (1 / n) * Σ (y_i − ŷ_i)² )

Al calcular la raíz cuadrada del Error Cuadrático Medio (MSE), el RMSE expresa el error en las mismas unidades de la variable original, lo que permite una comparación directa con los valores observados. La elección entre ambos indicadores depende de la tolerancia del dominio a los valores atípicos y de si se prioriza una interpretación más intuitiva del error o una métrica más sensible a la variabilidad.

---

2. Predicciones probabilísticas

Índices de cobertura

Cobertura nominal: Se define como el nivel de confianza predicho por el modelo para un intervalo de predicción. Por ejemplo, un valor del 80% para el intervalo P10-P90, significa que, teóricamente, el valor real debería estar contenido en ese rango en el 80% de los casos.

Cobertura empírica: Se calcula como la proporción de observaciones reales que caen dentro del intervalo de predicción.

Empirical Coverage = Number of observations within the interval / Total number of observations

- Si la cobertura empírica resulta ser menor que la cobertura nominal implica que los intervalos son demasiado estrechos, infravalorando la incertidumbre de las predicciones emitidas por el sistema predictivo.

- Si por el contrario es mayor, el modelo está sobrevalorando la incertidumbre real del sistema predictivo, siendo por tanto excesivamente conservador.

Prueba de cobertura

Para validar la calibración del modelo, habitualmente se utiliza la prueba de Kupiec.

Este contraste de hipótesis basado en la distribución Chi-cuadrada es una prueba de significación estadística esencial en la evaluación de modelos de riesgo, especialmente en el contexto del Value-at-Risk (VaR).

Se basa en la idea de comparar la frecuencia observada de eventos extremos o «excepciones» con la frecuencia teórica esperada según el nivel de confianza definido. En otras palabras, la prueba verifica si el modelo predice correctamente el número de veces que se excede un umbral de riesgo, lo que se conoce como cobertura incondicional.

Un p-valor alto indica que la cobertura empírica es compatible con la nominal, lo que sugiere que el modelo está bien calibrado.

Un p-valor bajo indica que la cobertura no es estadísticamente válida, lo que puede señalar problemas de calibración o de ajuste del modelo.

La evaluación de la cobertura permite validar que las colas de la distribución probabilística, por ejemplo, la pareja P10-P90 correspondiente con un nivel de confianza del 80 %, sean válidas en términos de cuantificación de incertidumbre.

Longitud media del intervalo de predicción

Una vez calibrados los intervalos de predicción, la incertidumbre del sistema predictivo en un periodo concreto queda representada por la longitud media de los intervalos de predicción, como la diferencia entre los límites superior e inferior del intervalo estimados:

MIL = Σ (ui_i − li_i) / n

Donde:
ui: límite superior del intervalo de predicción.
li: límite inferior del intervalo de predicción.

Winkler Score

El Winkler Score es una métrica integral diseñada para evaluar la calidad de los intervalos de predicción. Combina en una sola única métrica la evaluación de la longitud del intervalo y la penalización cuando el valor observado queda fuera respecto a los límites del intervalo de predicción.

Ws = (U_i − L_i), si Y_i ∈ [L_i, U_i]
Ws = (U_i − L_i) + (2 / α) * (L_i − Y_i), si Y_i < L_i
Ws = (U_i − L_i) + (2 / α) * (Y_i − U_i), si Y_i > U_i

Donde: li: Límite inferior del intervalo de predicción.
ui: límite superior del intervalo de predicción. yi = Valor real observado. α es el nivel de significación del intervalo de predicción (1-α, es el nivel de confianza).

Se penalizan intervalos que no contienen el valor real con un factor proporcional 2⁄α a la distancia entre yi y el límite más cercano del intervalo de predicción [li,ui ].

Aspectos clave a tener en cuenta sobre Winkler Score:

Precisión del intervalo: cuando el valor observado se encuentra dentro del intervalo, la puntuación es igual a la longitud del intervalo, lo que recompensa los intervalos más estrechos.

Penalización por cobertura errónea: si el valor real se encuentra fuera del límite, se añade una penalización considerable. Los intervalos que no capturan el valor real obtienen una puntuación mayor, lo que refleja tanto la magnitud como la frecuencia de las predicciones erróneas.

Consequently, lower average Winkler Scores indicate prediction intervals that are both tight and well‐calibrated, making this metric particularly valuable for comparing probabilistic forecasting systems in energy, finance, and other risk‐sensitive domains.

---

Gnarum cuenta con una experiencia contrastada en la implementación de servicios de forecast probabilístico, especialmente en el ámbito de la predicción fotovoltaica y energía eólica, tanto on-shore como off-shore.

La predicción eólica, por su naturaleza altamente variable, representa uno de los desafíos más complejos en el campo de las energías renovables. Por ello, exige modelos robustos, bien calibrados y capaces de ofrecer intervalos de confianza rigurosos.

La competencia de Gnarum en este ámbito, se ha consolidado a través de años de desarrollo técnico, validación constante y participación en benchmarks europeos junto a los mejores proveedores del mercado.

Asimismo, Gnarum participa activamente como proveedor oficial en entornos multiprovider con los TSO europeos, donde se integran distintas fuentes de predicción para la evaluación de la energía gestionada en distintos nodos de la red.

Este enfoque combinado de forecast probabilístico basado en técnicas Conformal Prediction permite a Gnarum ofrecer soluciones robustas, confiables, transparentes y adaptadas a los retos del mercado energético actual, especialmente en contextos con alta incertidumbre.