Training Microsoft Fabric data engineering met Data Pipelines en Spark

Microsoft Fabric is een end-to-end data platform dat geïntegreerde diensten biedt voor integratie, engineering, warehousing, analyse, machine learning en AI en datavisualisatie. Met Data Pipelines kun je naadloos gegevens uit verschillende bronnen integreren en transformeren, terwijl Spark krachtige custom engineering oplossingen mogelijk maakt. Tijdens de training maak je kennis met de volledige end-to-end oplossingen van Microsoft Fabric en zoomen we in op data engineering en het ontwerpen en implementeren van data pipelines en ontwikkelen van Spark Notebooks.

Algemene omschrijving

Microsoft Fabric is een geavanceerd data platform dat in combinatie met Data Pipelines en Spark veel mogelijkheden biedt voor data integratie.

Door gebruik te maken van de uitgebreide ETL mogelijkheden van Data Pipelines en de kracht van Spark, kun je elke mogelijke data engineering oplossing bouwen en je data in een Lakehouse of datawarehouse in Fabric beschikbaar maken.

Microsoft Fabric voegt hier nog meer waarde aan toe door middel van geavanceerde data management functies en mogelijkheden voor gegevenskwaliteit, waardoor je kunt vertrouwen op de consistentie, nauwkeurigheid en betrouwbaarheid van data.

Wat ga je leren?

Tijdens de training Microsoft Fabric data engineering met Data Pipelines en Spark maak je kennis met de volledige end-to-end oplossingen van Microsoft Fabric. Vervolgens leer je hoe je Spark notebooks en data pipelines kunt inzetten voor geavanceerde data processing, analytics, en machine learning taken.

Daarnaast ga je met Data Factory Pipelines of gegevensstromen ontwerpen en implementeren om data uit verschillende bronsystemen samen te brengen, te transformeren en beschikbaar te stellen in datastores voor data science, analyses of visualisatie.

Tot slot leer je best practices voor het beheren en delen van data binnen de Fabric omgeving en hoe je effectief kunt samenwerken.

Bedrijfstraining Microsoft Fabric

Wil je samen met je team Microsoft Fabric gaan inzetten voor het inrichten van een data engineering oplossing? Wij kunnen de training helemaal aanpassen aan jouw specifieke leerwensen, behoefte en praktijksituatie, met je eigen data; hierdoor kun je maximaal rendement uit deze training halen.

Programma

Tijdens de Training Microsoft Fabric data engineering met Data Pipelines en Spark komen in basis onderstaande onderwerpen aan bod. Afhankelijk van ontwikkelingen op het vakgebied, kan de feitelijke trainingsinhoud hier echter van afwijken. Bel ons gerust voor meer informatie over de actuele inhoud.

• Introductie tot Microsoft Fabric en OneLake
• • Basisfilosofie van Fabric
  • Overzicht end-to-end platform
  • Overview en integratie van onderdelen
  • Workspace structuur
• Opzetten van schaalbare gegevensstromen
• • Concepten van Dataflows, Pipelines en activities
  • Concepten van data-pipelines in Data Factory
  • Ontwerpprincipes en best practices voor efficiënte pipelines
  • Integratie van Dataflow Gen2 met Pipelines
  • Testen en valideren van pipelines
• Monitoring van Dataflows en Pipelines
• Beheren van Data Storage en Data Management in OneLake
• • Dataopslag in OneLake
  • Data management functies
• Optimalisatie van data-pipelines en prestatieverbeteringen
• • Implementatie van complexe dataflows en gegevensverwerkingsscenario's
• Data engineering met Synapse en Spark
• • Synapse Data Engineering
  • Notebooks opzetten en configureren
  • • Data laden in Notebooks
    • Spark code toepassen in Notebooks (Python, SQL)
    • Uitvoeren van Notebooks
    • Visualiseren in Notebooks
    • Samenwerken en delen in Notebooks
  • Koppelen van een Lakehouse
  • Spark Job Definition
  • Databricks integratie
• Overzicht van Synapse Data Science, real-time analytics en Power BI in Fabric
• Introductie Data activator
• Data sharing en samenwerking
• • Mogelijkheden voor data sharing en samenwerking binnen OneLake
  • Beveiligen van data in Fabric
• Best practices
• • Geavanceerde tips en trucs voor effectief beheer en gebruik van Data Factory, met een focus op optimalisatie en prestatieverbetering
• Migreren naar Fabric
• • Migreren vanuit Azure Data Factory of Databricks
• Business case: uitwerken van een compleet scenario met de focus op data engineering met Synapse en Spark Notebooks