Data Engineering on Microsoft Azure (DP-203T00-A)

Tijdsduur
Logo van Sigma Data Learning
Opleiderscore: starstarstarstarstar_half 9,2 Sigma Data Learning heeft een gemiddelde beoordeling van 9,2 (uit 36 ervaringen)

Tip: meer info over het programma, prijs, en inschrijven? Download de brochure!

Startdata en plaatsen

Er zijn nog geen startdata bekend voor dit product.

Sigma Data Learning biedt haar producten standaard aan in de volgende regio's: 's-Hertogenbosch, Alkmaar, Almere / Lelystad, Alphen aan den Rijn, Amersfoort, Amsterdam, Antwerpen, Apeldoorn, Arnhem, Assen, Breda, Brugge, Brussel, Delft, Den Haag, Deventer, Dordrecht, Drachten, Ede, Eindhoven, Emmen, Enschede, Gent, Gouda, Groningen, Haarlem, Haarlemmermeer, Heerenveen, Hilversum, Leeuwarden, Leiden, Luik, Maastricht, Middelburg, Nijmegen, Roermond, Rotterdam, Terneuzen, Tilburg, Utrecht, Veenendaal, Venlo, Westland, Zaanstad, Zoetermeer, Zwolle

Beschrijving

In deze training kijken we naar Data Engineering manieren om zowel real-time als batch-gedreven oplossingen te bouwen in Azure. Zowel de technologie in de basis (compute, storage) als de analytische oplossingen komen aan bod. Centraal in deze cursus staat de praktijk: in deze vierdaagse cursus wordt ca. 60-75% van de tijd hands-on besteed. Zo leer je snel en effectief hoe je analytische oplossingen in Azure vormgeeft. We starten de cursus met een overzicht van de erschillende diensten die in Azure beschikbaar zijn voor Data Engineering. We kijken naar concrete producten als Synapse, Databricks en Azure Data Lake Storage. Ook kijken we naar mogelijkheden om het Data Lake te structureren, en o…

Lees de volledige beschrijving

Veelgestelde vragen

Er zijn nog geen veelgestelde vragen over dit product. Als je een vraag hebt, neem dan contact op met onze klantenservice.

Nog niet gevonden wat je zocht? Bekijk deze onderwerpen: Data engineer, Microsoft Azure, Data storage, Data Vault en Data Analyse.

In deze training kijken we naar Data Engineering manieren om zowel real-time als batch-gedreven oplossingen te bouwen in Azure. Zowel de technologie in de basis (compute, storage) als de analytische oplossingen komen aan bod. Centraal in deze cursus staat de praktijk: in deze vierdaagse cursus wordt ca. 60-75% van de tijd hands-on besteed. Zo leer je snel en effectief hoe je analytische oplossingen in Azure vormgeeft. We starten de cursus met een overzicht van de erschillende diensten die in Azure beschikbaar zijn voor Data Engineering. We kijken naar concrete producten als Synapse, Databricks en Azure Data Lake Storage. Ook kijken we naar mogelijkheden om het Data Lake te structureren, en om bestanden binnen het Data Lake te optimaliseren zodat data in het Data Lake bruikbaar is voor exploratieve queries, streaming, en batch workloads. Ten slotte kijken we naar de mogelijkheden om de performance te verbeteren door indexes aan te leggen voor datasets in CSV, JSON en Parquet-bestanden. Vervolgens gaan we verder de diepte in: we bouwen de serving layer, doen hands-on ervaring op met Synapse, Databricks en Data Factory. We kijken naar beveiliging,

Inhoud van de cursus

Module 1: Verkennen van de Data Engineering mogelijkheden

  • Introductie Azure Synapse Analytics
  • Introductie Azure Databricks
  • Introductie Azure Data Lake Storage
  • Delta Lake architectuur
  • Azure Stream Analytics gebruiken

Module 2: Ontwerp en implementatie van de Serving Layer

In deze module kijken we hoe we de opslag in een modern Data Warehouse kunnen vormgeven. We kijken naar sterschema's, slowly changing dimensions, en de mogelijkheden om incrementeel te laden met behulp van Azure Data Factory
  • Ontwerpen van dimensionele modellen
  • Transformatie met behulp van Azure Data Factory
  • Slowly Changing Dimensions vullen met behulp van Synapse Analytics Pipelines

Module 3: Bronbestanden vanuit een Data Engineering perspectief

In deze module verkennen we hoe data ingeladen kan worden vanuit een Azure Data Lake. Ook kijken we naar de uitdagingen en vragen die daar vanuit security kunnen leven.
  • Ontwerpen van een Modern Data Warehouse in Azure Synapse Analytics
  • Beveiliging van je Data Warehouse in Azure Synapse Analytics

Module 4: Interactieve queries met Azure Synapse Analytics serverless SQL pools

In deze module leer je hoe je direct T-SQL queries kunt uitvoeren op bestanden die in een data lake leven. Dit doen we met behulp van een Serverless SQL Pool. We lezen zowel Parquet als CSV-bestanden in. Ook kijken we naar de inrichting van Azure Active Directory groepen, en gebruiken Role-Based Access Control (RBAC) en Access Control Lists (ACLs) om bestanden in een Data Lake te beveiligen.
  • Verkennen van de mogelijkheden van Azure Synapse serverless SQL pool
  • T-SQL queries uitvoeren tegen bestanden in een datalake
  • Metadata objecten aanmaken in een Synapse serverless SQL pools
  • Data beveiligen en gebruikersbeheer in een Synapse serverless SQL pool

Module 5: Apache Spark gebruiken voor ETL

  • Big Data engineering met Apache Spark binnen Synapse
  • Data inlezen met Apache Spark notebooks
  • Data transformeren met DataFrames in Apache Spark pools
  • SQL en Apache Spark pools integreren in Synapse

Module 6: Data verkennen en ETL met Azure Databricks

  • Azure Databricks verkennen
  • Data lezen en schrijven met Azure Databricks
  • DataFrames gebruiken in Azure Databricks
  • Geavanceerde bewerkingen op DataFrames in Azure Databricks

Module 7: Data inladen in het Data Warehouse

  • Best practices voor het laden van data in Synapse
  • Data inladen met Azure Data Factory

Module 8: Data transformeren met ADF

  • Data integratie met Azure Data Factory of Synapse Pipelines
  • "code-free" transformatie van data met ADF of Synapse Pipelines

Module 9: Orchestratie met ADF

  • Orchestratie van data movement en transformatie met Azure Data Factory

Module 10: Query performance optimaliseren met dedicated SQL pools

  • Optimaliseren van de Data Warehouse query performance
  • Gebruikmaken van de Data Warehouse ontwikkelaarstools van Synapse

Module 11: Analyseren en optimaliseren van Data Warehouse opslag

  • Anayseren en optimaliseren van Data Warehouse opslag in Synapse

Module 12: HTAP met Synapse Link

  • Vormgeven van hybrid transactional and analytical processing met Synapse
  • Configureren van Synapse Link en Cosmos DB
  • Cosmos DB bevragen vanuit Apache Spark
  • Cosmos DB bevragen vanuit Synapse serverless SQL pools

Module 13: End-to-end security

  • Beveiliging van het Data Warehouse in Synapse
  • Wachtwoorden en sleutels beheren en configureren in Azure Key Vault
  • Implementeren van compliance-tools voor gevoelige data

Module 14: Real-time Stream Processing met Stream Analytics

  • Event Hubs inzetten als pub-sub systeem
  • Werken met streaming data vanuit Azure Stream Analytics
  • Streaming data inlezen met Azure Stream Analytics

Module 15: Een Streaming oplossing maken met Event Hubs en Azure Databricks

  • Streaming Data verwerken met Azure Databricks structured streaming

Module 16: Rapporten bouwen met de Power BI integratie in Synapse

  • Gebruik maken van de Power BI integratie in Synapse Anaytics

Module 17: Geïntegreerde Machine Learning processen in Azure Synapse Analytics

  • Geïntegreerde Machine Learning processen in Azure Synapse Analytics

Planning van de cursus

We hebben deze training telkens verdeeld over meerdere weken. Dat maakt het makkelijker in te plannen en combineren met je dagelijks werk, en geeft je de tijd om gedurende de week nog eens te verdiepen, extra opgaven te maken, of het geleerde alvast in de praktijk te brengen! Vragen die je tegenkomt, kun je dan mooi meenemen naar de volgende traiing.
  • Startdatum 7 juli
    • Deze editie is verdeeld over twee weken
    • Geplande dagen: 7 juli, 8 juli, 14 juli, 15 juli
  • Startdatum 11 augustus
    • Deze editie is verdeeld over vier weken
    • Geplande dagen: 11 augustus, 18 augustus, 25 augustus, 1 september

Blijf op de hoogte van nieuwe ervaringen

Er zijn nog geen ervaringen.

Deel je ervaring

Heb je ervaring met deze cursus? Deel je ervaring en help anderen kiezen. Als dank voor de moeite doneert Springest € 1,- aan Stichting Edukans.

Er zijn nog geen veelgestelde vragen over dit product. Als je een vraag hebt, neem dan contact op met onze klantenservice.

Vraag nu gratis en vrijblijvend informatie aan:

Aanhef
(optioneel)
(optioneel)
(optioneel)
(optioneel)
(optioneel)
(optioneel)
(optioneel)
We slaan je gegevens op, en delen ze met Sigma Data Learning, om je via e-mail en evt. telefoon verder te helpen. Meer info vind je in ons privacybeleid.