Medir la calidad de las predicciones de un modelo de aprendizaje supervisado a través de métricas de rendimiento como accuracy (o "exactitud" en castellano), precision, recall, F1 score,... no nos da la seguridad de que el modelo esté respondiendo a la pregunta correcta, sobre todo si es un modelo no interpretable por las personas, también llamados modelos black box (caja negra).

Un ejemplo típico son los grandes modelos de deep learning fallando al intentar identificar una vaca en la playa. Esto sucede frecuentemente porque lo que en realidad aprendió el modelo durante su entrenamiento fue a reconocer la hierba en las imágenes del training set. Son modelos muy exactos (puede que hasta obtengamos más de un 95% de accuracy en su validación y testado), pero en una tarea distinta, no deseada (queríamos detectar vacas, no hierba). Si solamente nos fijamos en las métricas, este inesperado cambio de tarea puede pasar fácilmente desapercibido y aumentar el tamaño del training set no necesariamente soluciona el problema.

Podemos cerciorarnos de que esto no nos pasa incorporando a nuestro modelo herramientas matemáticas (ya desarrolladas como librerías de Python) que nos facilitan ir más allá de la optimización de las métricas. Estas herramientas sirven para cualquier modelo supervisado y explican en qué se fijó el modelo para producir sus predicciones (gracias a métodos de explicabilidad o XAI, como los SHAP values o LIME) o proveen de 'barras de error' a las predicciones puntuales (utilizando métodos de cuantificación de incertidumbre o UQ, como Conformal Predictors o Quantile Regression).

Este taller complementa a la mayoría de los cursos introductorios sobre aprendizaje automático supervisado, que a menudo se centran solamente en optimizar métricas. Si no has realizado un curso introductorio sobre aprendizaje automático, encontraras un resumen en el Github de la autora: https://github.com/MMdeCastro/Uncertainty_Quantification_XAI. Es muy importante que lo consultes antes del taller para familiarizarte con el concepto de métrica.