PyConES 2022

Exactitud con certidumbre
09-30, 15:30–17:30 (Europe/Madrid), Hedy Lamarr (Teoría 5)
Language: Español

Revisaremos las principales características teóricas y técnicas de los paquetes más populares y útiles que nos ayudan a cuantizar la incertidumbre o a explicar las predicciones de nuestros modelos supervisados.


Medir la calidad de las predicciones de un modelo de aprendizaje supervisado a través de métricas de rendimiento como accuracy (o "exactitud" en castellano), precision, recall, F1 score,... no nos da la seguridad de que el modelo esté respondiendo a la pregunta correcta, sobre todo si es un modelo no interpretable por las personas, también llamados modelos black box (caja negra).

Un ejemplo típico son los grandes modelos de deep learning fallando al intentar identificar una vaca en la playa. Esto sucede frecuentemente porque lo que en realidad aprendió el modelo durante su entrenamiento fue a reconocer la hierba en las imágenes del training set. Son modelos muy exactos (puede que hasta obtengamos más de un 95% de accuracy en su validación y testado), pero en una tarea distinta, no deseada (queríamos detectar vacas, no hierba). Si solamente nos fijamos en las métricas, este inesperado cambio de tarea puede pasar fácilmente desapercibido y aumentar el tamaño del training set no necesariamente soluciona el problema.

Podemos cerciorarnos de que esto no nos pasa incorporando a nuestro modelo herramientas matemáticas (ya desarrolladas como librerías de Python) que nos facilitan ir más allá de la optimización de las métricas. Estas herramientas sirven para cualquier modelo supervisado y explican en qué se fijó el modelo para producir sus predicciones (gracias a métodos de explicabilidad o XAI, como los SHAP values o LIME) o proveen de 'barras de error' a las predicciones puntuales (utilizando métodos de cuantificación de incertidumbre o UQ, como Conformal Predictors o Quantile Regression).

Este taller complementa a la mayoría de los cursos introductorios sobre aprendizaje automático supervisado, que a menudo se centran solamente en optimizar métricas. Si no has realizado un curso introductorio sobre aprendizaje automático, encontraras un resumen en el Github de la autora: https://github.com/MMdeCastro/Uncertainty_Quantification_XAI. Es muy importante que lo consultes antes del taller para familiarizarte con el concepto de métrica.


Level of your proposal

Intermediate

Topic

Data Science, Machine Learning and AI

Coordinadora Científica en el Departamento de Ciencias de la Computación e Inteligencia Artificial de la Escuela Superior de Ingenierías Informática y de Telecomunicación (ETSIIT) de la Universidad de Granada. Doctora en Simulación y Análisis por la Universidad de Kiel, Máster en Sistemas Complejos por la Universidad de las Islas Baleares. Repositorio de la charla de PyConES22: https://github.com/MMdeCastro/Uncertainty_Quantification_XAI