TEMA: VaR Backtesting
Mg. Jesús Virto
VaR Backtesting
El backtesting es el proceso de comparar las pérdidas pronosticadas por un modelo
de valor en riesgo (VaR) con aquellas realmente experimentadas durante el período
de prueba. Es una herramienta importante para proporcionar la validación del
modelo, que es un proceso para determinar si un modelo VaR es adecuado.
El objetivo principal del backtesting es asegurar que las pérdidas reales no excedan
las pérdidas esperadas en un nivel de confianza dado. El número de observaciones
reales que quedan fuera de un nivel de confianza dado se llaman excepciones. El
número de excepciones que caen fuera del nivel de confianza del VaR no debe
exceder uno menos el nivel de confianza. Por ejemplo, las excepciones deberían
ocurrir menos del 5% del tiempo si el nivel de confianza es del 95%.
VaR Backtesting
El backtesting es extremadamente importante para los gestores de riesgos y los
reguladores para validar si los modelos VaR están correctamente calibrados o son
precisos. Si el nivel de excepciones es demasiado alto, los modelos deben
recalibrarse y los gestores de riesgos deben reevaluar los supuestos, parámetros y /
o procesos de modelado
Limitaciones del VaR Backtesting
Los modelos VaR se basan en portafolios estáticos, mientras que las composiciones
del portafolio real cambian constantemente a medida que cambian los precios
relativos y se realizan compras y ventas.
Múltiples factores de riesgo afectan la rentabilidad, pero no están incluidos en el
modelo VaR. Por ejemplo, los rendimientos reales se complican por los cambios
intradía, así como por los factores de pérdidas y ganancias que resultan de las
comisiones, ingresos por intereses y bid-ask spread. Dichos efectos pueden
minimizarse mediante la realización de pruebas con un horizonte temporal
relativamente corto, como un período de mantenimiento diario.
Otra dificultad con el backtesting es que la muestra analizada puede no ser
representativa del verdadero riesgo subyacente. El período de backtesting
constituye una muestra limitada, por lo que no esperamos encontrar el número
previsto de excepciones en cada muestra. En algún nivel, debemos rechazar el
modelo, lo que sugiere la necesidad de encontrar un nivel aceptable de
excepciones.
Probabilidad de excepciones (p)
Suponga que se calcula un VaR de $ 10 millones a un nivel de confianza del 95%.
¿Cuál es la probabilidad aceptable de excepciones (perdidas que exceden esta
cantidad de VaR)?
Respuesta:
Esperamos tener excepciones (es decir, pérdidas superiores a $ 10 millones) el 5%
de las veces (1 - 95%). Si se producen excepciones con mayor frecuencia, podemos
estar subestimando el riesgo real. Si las excepciones ocurren con menos frecuencia,
podemos estar sobreestimando el riesgo y asignando mal el capital como resultado
(Recordar que menos apalancamiento reduce el ROE).
Validación del modelo VaR
La prueba de que el modelo está correctamente calibrado requiere el cálculo del
estadístico 𝒛, donde 𝒙 es el número de excepciones reales observadas y 𝑻 es el
numero de días del periodo de backtesting. Este estadístico 𝒛 se compara con el
valor crítico para el nivel de confianza elegido (por ejemplo, 2.33 para el nivel de
confianza del 99%) para determinar si el modelo VaR es insesgado.
𝑥 − 𝑝𝑇
𝑧=
𝑝 1−𝑝 𝑇
Ejemplo: Validación del VaR
Suponga que los ingresos diarios cayeron por debajo de un nivel de VaR predeterminado (al nivel
de confianza del 95%) en 22 días durante un período de 252 días. ¿Es esta muestra una muestra
insesgada?
Solución:
22 − 0.05(252) 22 − 12.6 9.4
𝑧= = = = 2.72
0.05 0.95 252 11.97 3.4598
Según el cálculo, esta no es una muestra insesgada porque el valor 𝒛 calculado de 2.72 es mayor
que el valor crítico de 1.96 para un nivel de confianza del 95%. En este caso, rechazaríamos la
hipótesis nula de que el modelo VaR es insesgado y concluiríamos que se ha excedido el número
máximo de excepciones.
Tenga en cuenta que el nivel de confianza en el que elegimos rechazar o no rechazar un modelo
no está relacionado con el nivel de confianza con el que se calculó el VaR. Al evaluar la precisión
del modelo, estamos comparando el número de excepciones observadas con el número máximo
de excepciones que se esperaría de un modelo correcto en un nivel de confianza dado.
Error Tipo I y Tipo II
Error Tipo I rechazar un modelo preciso
Error Tipo II no rechazar un modelo impreciso
El objetivo en las pruebas de backtesting es crear un modelo VaR con un error de
Tipo I bajo e incluir una prueba para una tasa de error de Tipo II muy baja.
Debemos tener en cuenta que si aumentamos el nivel de confianza, por ejemplo de
95% a 99%, la probabilidad de cometer errores de Tipo I y Tipo II disminuye
significativamente.
Expected Shortfall
Una limitación importante del VaR es que no le dice al inversionista la cantidad o
magnitud de la pérdida real. El VaR solo proporciona el valor máximo que podemos
perder para un nivel de confianza dado. El Expected Shortfall (ES) proporciona una
estimación de la pérdida en la cola al promediar los VaR con niveles de confianza
superiores en la cola.
Bibliografía
Kaplan Schweser; FRM Part II, Book 1 “Market Risk Measurement and
Management”; 2018.