Implementing a Lakehouse with Microsoft Fabric (DP-601)

Leer werken met lakehouses in Microsoft Fabric

Beschrijving

Deze training is ontworpen om jouw basisvaardigheden in data engineering op Microsoft Fabric op te bouwen, met de nadruk op het Lakehouse-concept. In deze training worden de krachtige mogelijkheden van Apache Spark voor gedistribueerde gegevensverwerking verkend en de essentiële technieken voor efficiënt gegevensbeheer, versiebeheer en betrouwbaarheid door te werken met Delta Lake-tabellen. Deze training zal ook data ingestion en orkestratie verkennen met behulp van Dataflows Gen2 en Data Factory-pipelines.

Deze cursus omvat een combinatie van lezingen en praktische oefeningen die je zullen voorbereiden om met lakehouses in Microsoft Fabric te werken.

Doelgroep De primaire doelgroep voor deze cursus zijn data professionals die bekend zijn met data modellering, extractie en analyse. Het is ontworpen voor professionals die geïnteresseerd zijn in het verkrijgen van kennis over Lakehouse-architectuur, het Microsoft Fabric-platform en hoe ze end-to-end analyse mogelijk kunnen maken met behulp van deze technologieën.

Onderwerpen

1. Introduction to end-to-end analytics using Microsoft Fabric
2. Get started with lakehouses in Microsoft Fabric
3. Use Apache Spark in Microsoft Fabric
4. Work with Delta Lake tables in Microsoft Fabric
5. Ingest Data with Dataflows Gen2 in Microsoft Fabric
6. Use Data Factory pipelines in Microsoft Fabric

Discover how Microsoft Fabric can meet your enterprise's analytics needs in one platform. Learn about Microsoft Fabric, how it works, and identify how you can use it for your analytics needs.

Goals:

• Describe end-to-end analytics in Microsoft Fabric

Lakehouses merge data lake storage flexibility with data warehouse analytics. Microsoft Fabric offers a lakehouse solution for comprehensive analytics on a single SaaS platform.

Goals:

• Describe core features and capabilities of lakehouses in Microsoft Fabric
• Create a lakehouse
• Ingest data into files and tables in a lakehouse
• Query lakehouse tables with SQL

Apache Spark is a core technology for large-scale data analytics. Microsoft Fabric provides support for Spark clusters, enabling you to analyze and process data in a Lakehouse at scale.

Goals:

• Configure Spark in a Microsoft Fabric workspace
• Identify suitable scenarios for Spark notebooks and Spark jobs
• Use Spark dataframes to analyze and transform data
• Use Spark SQL to query data in tables and views
• Visualize data in a Spark notebook

Tables in a Microsoft Fabric lakehouse are based on the Delta Lake storage format commonly used in Apache Spark. By using the enhanced capabilities of delta tables, you can create advanced analytics solutions.

Goals:

• Understand Delta Lake and delta tables in Microsoft Fabric
• Create and manage delta tables using Spark
• Use Spark to query and transform data in delta tables
• Use delta tables with Spark structured streaming

Data ingestion is crucial in analytics. Microsoft Fabric's Data Factory offers Dataflows (Gen2) for visually creating multi-step data ingestion and transformation using Power Query Online.

Goals:

• Describe Dataflow (Gen2) capabilities in Microsoft Fabric
• Create Dataflow (Gen2) solutions to ingest and transform data
• Include a Dataflow (Gen2) in a pipeline

Microsoft Fabric includes Data Factory capabilities, including the ability to create pipelines that orchestrate data ingestion and transformation tasks.

Goals:

• Describe pipeline capabilities in Microsoft Fabric
• Use the Copy Data activity in a pipeline
• Create pipelines based on predefined templates
• Run and monitor pipeline