Inteligencia Artificial Explicable (xAI). Parte 8: Test de Significatividad

[música] [música] Hola a todos, bienvenidos de nuevo. En

el vídeo anterior vimos cómo se puede utilizar el análisis de sensibilidad de las derivadas parciales de la salida con respecto a las entradas para comprender el efecto y la importancia de las variables. Fijémonos en el siguiente

variables. Fijémonos en el siguiente ejemplo. Analizando los valores de la

ejemplo. Analizando los valores de la media cuadrática de las sensibilidades, podríamos no estar seguros de si x2 es estadísticamente significativa. Para

estadísticamente significativa. Para resolver este problema, necesitamos un test estadístico formal capaz de determinar si una entrada contribuye de forma significativa al modelo. Eso es

precisamente lo que veremos hoy.

El objetivo principal de este test es evaluar si una entrada de la red neuronal contribuye significativamente a las predicciones del modelo. Esta

importancia la mediremos mediante la media cuadrática de las derivadas parciales de las variables. Para ello,

formulamos el problema como un contraste de hipótesis. La hipótesis nula, H0, la

de hipótesis. La hipótesis nula, H0, la entrada no tiene un impacto significativo en la salida. La media

cuadrática de las derivadas parciales es cer. Como hipótesis alternativa H1, la

cer. Como hipótesis alternativa H1, la entrada tendrá un impacto significativo, es decir, la media cuadrática es distinta de cero. Para poder probar estas hipótesis, necesitamos una distribución del estadístico de la media

cuadrática de las sensibilidades. Esta

distribución la obtendremos mediante remostreo con reemplazo, comúnmente llamado boostrap. asumiendo la hipótesis

llamado boostrap. asumiendo la hipótesis nula como cierta.

El Boostrap es una técnica estadística fundamental basada en generar datos sintéticos mediante remonseo con reemplazo del conjunto original. Esto

nos permite dos cosas claves. La primera

es estimar la variabilidad de las deudadas parciales. Al generar muchos

deudadas parciales. Al generar muchos conjuntos de datos con Boostrap podemos calcular las derivadas para cada uno y así obtener una distribución empírica del estadístico. La segunda es calcular

del estadístico. La segunda es calcular valores críticos. La distribución

valores críticos. La distribución empírica permite calcular umbrales de significancia. por ejemplo, el

significancia. por ejemplo, el percinttiris 90 o 95. Si la sensibilidad observada está por encima de su umbral, consideraremos la variable significativa.

Esta herramienta es flexible, no requiere supuestos fuertes y funciona muy bien incluso en modelos complejos como redes neuronales.

Sin embargo, como estamos analizando varias entradas del modelo, realizamos múltiples test de significancia al mismo tiempo. Si no corregimos este hecho,

tiempo. Si no corregimos este hecho, aumentará la probabilidad de falsos positivos, es decir, te declarará significativo una variable, que en realidad no lo es.

Para evitar esto, utilizaremos un algoritmo diseñado específicamente para este tipo de de situaciones, el KSTPM.

El algoritmo KSTPM es un procedimiento iterativo diseñado para controlar error familiar de tipo uno en pruebas de múltiples hipótesis. Sus principales

múltiples hipótesis. Sus principales ventajas son, la primera, el control de errores de falsos positivos. Reduce la

probabilidad de rechazar incorrectamente al menos una hipótesis nula. La segunda

es la priorización de hipótesis. Siempre

compara el estadístico más grande con el valor crítico adecuado. Y la tercera es el ajuste dinámico. Actualiza el valor crítico iterativamente hasta que ya no queda hipótesis que rechazar. Este

enfoque garantiza un control riguroso del error sin ser tan conservador como otros métodos más simples.

Basándonos estos dos métodos, nuestro test estadístico sigue los siguientes pasos. El primero es el cálculo de la

pasos. El primero es el cálculo de la sensibilidad. Calculamos la media

sensibilidad. Calculamos la media cuadrática de las derivadas parciales para cada variable de entrada. Este

estadístico mide el impacto total de la variable en la renovenar. El segundo

paso, como hemos comentado antes, es el resampleo usando boostrap. Generamos

muchas réplicas del dataset por remuestreo con reemplazo. Para cada

réplica, volvemos a calcular la media cuadrática, construyendo así la distribución empírica bajo la hipótesis nula. El tercer paso es la determinación

nula. El tercer paso es la determinación del valor crítico. A partir de la distribución empírica, se utiliza la función de distribución acumulativa empírica para encontrar el valor crítico correspondiente a nivel de significación

alfa deseado. El paso cuatro es realizar

alfa deseado. El paso cuatro es realizar las pruebas iterativas con el algoritmo KSTPM. Comparamos cada estadístico con

KSTPM. Comparamos cada estadístico con el valor crítico del estadístico de mayor valor. Rechazamos las hipótesis

mayor valor. Rechazamos las hipótesis nulas cuyo estadístico excedor crítico y luego volvemos al paso uno usando solo las hipótesis nulas no rechazadas. Si no

quedan hipótesis nulas, no rechazadas, el algoritmo termina.

Este algoritmo nos permite no solo obtener información sobre si las variables son significativas o no, sino que podemos obtener información sobre la incertidumbre estadísticos de la media sensibilidades o la desviación estándar,

calculando simultáneamente estos otros dos estadísticos. Sin embargo, este test

dos estadísticos. Sin embargo, este test no es capaz de observar comportamientos lineales localizados, algo que estudiaremos en el siguiente vídeo.

Gracias por acompañarnos.