PyConES 2022

Creando workflows dinámicos en Airflow
01/10/2022 , Grace Hopper (Teoría 6)
Idioma: Español

En esta charla vamos a ver algunos elementos en Airflow que te permitirán crear workflows dinámicos que se adapten a los resultados particulares de cada ejecución. Posiblemente no es algo que vayas a usar habitualmente en tu día a día pero no está de más conocerlos.


Mi experiencia con Airflow es que los workflows suelen ser más o menos estáticos. Algunas partes pueden ejecutarse o no en función de los parámetros de entrada pero es menos habitual que cambien en función de los resultados intermedios.
Sin embargo, investigando un poco podemos encontrar algunos elementos que nos permitirán implementar workflows que se adapten a los resultados y ejecuten o no ciertas tareas a medida que se vayan ejecutando.
En esta charla vamos a hablar de Trigger rules, branch operators, XComs, contexts y sessions y cómo podemos combinarlos para volvernos locos y complicar nuestros workflows tanto como queramos : )


Nivel de la propuesta:

Intermedio

Temática:

Ciencia de datos, Machine Learning e IA

Ver también : Slides (184,7 KB)

Trabajo como ingeniero de datos en TrustYou, donde analizamos semanalmente millones de opiniones de clientes sobre hoteles. Con ellas, generamos informes agregados con los puntos fuertes y débiles de cada hotel en un formato que facilita a los usuarios comparar múltiples opciones.
Anteriormente trabajé en diversas startups como Carto or Blinkfire Analytics.