Training Apache Airflow

Apache Airflow wordt gebruikt om data pipelines en workflows te organiseren. Het gaat hier om het coördineren, volgorde bepalen, plannen en managen van complexe workflows op basis van diverse databronnen. Tijdens de training Apache Airflow gaan we het platform inrichten en verschillende data pipelines bouwen.

Algemene omschrijving

Het managen van het dataproces is van groot belang. In de regel bestaat het proces in ieder geval uit een aantal pipelines en workflows. Apache Airflow is hier volledig op ingericht.

Apache Airflow dient als basis om je hele dataproces te stroomlijnen. De flexibiliteit van Apache Airflow is ongekend. Je kunt processen volledig op maat maken, afhankelijkheden creëren, data laten bewerken of eventueel delen van processen laten verwerken in een externe programmeertaal zoals Python.

Tijdens de cursus Apache Airflow leer je hoe je je dataprocessen omzet naar Apache Airflow pipelines en workflows.

Bedrijfstraining Apache Airflow

Wil je met je met een heel team optimaal gebruik maken van Apache Airflow? In een bedrijfstraining kunnen wij de training volledig op maat voor jouw organisatie verzorgen, voor jou en wellicht een groep van je collega's.

Tijdens een bedrijfstraining kun je bijvoorbeeld je data pipelines zo gaan inrichten als voor jouw team of organisatie geschikt is. Zo sluit een bedrijfstraining perfect aan bij wat jij moet beheersen om Apache Airflow perfect in te zetten in je organisatie.

Programma

Tijdens de Training Apache Airflow komen in basis onderstaande onderwerpen aan bod. Afhankelijk van ontwikkelingen op het vakgebied, kan de feitelijke trainingsinhoud hier echter van afwijken. Bel ons gerust voor meer informatie over de actuele inhoud.

• Introductie Apache Airflow
• Installatie Apache Airflow met Docker
• Architectuur Data Pipelines
• Architectuur Workflows
• Concepten Apache Airflow
• • DAGs
  • Operators
  • Sensors
  • Tasks
• Workflow orchestrators
• • Introductie orchestrators
  • Wat is nodig?
  • Do's en dont's
  • Wast
• Ontwerp Airflow DAG
• • Specificeren DAG triggers (CRON, Schedule)
  • Predefined macros gebruiken
  • Ontwerpen readable dependencies tussen tasks
  • Jinja templates in custom operators
• Airflow web UI
• • Introductie Web UI
  • Debugging failed runs
  • Managing variables en connection details
  • Organiseren van processen (Task groups, inline documentation)
• The Airflow CLI
• • Testen DAGs voor deployment
  • Backfilling DAGs
• Best practices
• • The danger zone: XCOM, Variables, fully dynamic DAGs
  • Alerting
  • Goed documenteren
• Tips en trucs
• Best practices