Advanced Streaming Big Data with Spark - eLearning

Maak kennis met realtime gegevensverwerking via de training ‘Streaming Big Data with Spark’, 

die is ontworpen om u te helpen bij het bouwen van krachtige, schaalbare datapijplijnen die informatie verwerken op het moment dat deze binnenkomt. Deze cursus laat u kennismaken met de streamingmogelijkheden van Apache Spark, waardoor u kunt werken met continue gegevensstromen voor moderne analyse- en besluitvormingssystemen.

U leert hoe u grootschalige streamingdata verwerkt met behulp van Spark Streaming en Structured Streaming, realtime databronnen integreert en fouttolerante, schaalbare pijplijnen bouwt. De cursus behandelt ook belangrijke big data-concepten en praktische use cases in sectoren zoals financiën, IoT en e-commerce.

Aan het einde van de training bent u in staat om realtime gegevensverwerkingssystemen te ontwerpen en te implementeren die de volgende generatie analytische applicaties aandrijven.

Doelgroep

• Data-engineers die werken met realtime datasystemen
• Big data-professionals en Spark-ontwikkelaars
• Software-engineers die overstappen naar data-engineeringfuncties
• Datawetenschappers die geïnteresseerd zijn in streaming analytics
• Backend-ontwikkelaars die data-intensieve applicaties bouwen
• IT-professionals die werken met grootschalige gedistribueerde systemen
• Iedereen die geïnteresseerd is in realtime gegevensverwerking en Spark

Vereisten

• Basiskennis van programmeren (bij voorkeur Java, Scala of Python)
• Bekendheid met big data-concepten en gedistribueerde systemen
• Basiskennis van gegevensverwerking of analytische workflows
• Inzicht in databases en SQL (nuttig maar niet verplicht)
• Er is geen eerdere ervaring met Spark Streaming vereist.

Leerdoelen

• Krijg een volledig inzicht in de runtime-architectuur van Spark
• Voer essentiële DataFrame-bewerkingen en -functies uit in Spark
• Leer de basisprincipes van streamverwerking met Spark
• Ontdek de directe integratie van Spark Streaming met Apache Kafka
• Werk met Spark Streaming met behulp van Amazon Kinesis
• Begrijp en pas sliding window-bewerkingen toe bij streamverwerking

Cursusinhoud

De Spark-runtime

• Inzicht in de Spark RDD  
• Inzicht in het Spark DataFrame  
• Overzicht van de Spark-runtime-architectuur 

ETL met Spark

• Map-transformaties
• De transformaties  
• Basisacties  
• Transformaties van sleutel-waardeparen  
• Join-bewerkingen 
• Numerieke RDD-bewerkingen en steekproeffuncties 
• Partitionering in Spark 
• Partities beheren in Spark  
• Externe programma's gebruiken met Spark

Spark SQL en DataFrames 

• Spark SQL-architectuur 
• Overzicht van de DataFrame-API 
• DataFrames maken 
• DataFrame-gegevensmodel en -schema's 
• Basisbewerkingen met DataFrames 
• DataFrame-functies 
• Setbewerkingen en aggregaties in DataFrames 
• Opslag en uitvoer van DataFrames
• DEMO Spark SQL en DataFrames

Inleiding tot streamverwerking met Spark

• Inleiding tot Spark Streaming 
• Inleiding tot DStreams
•  De DStream-bewerkingen 

Stateful verwerking met Spark Streaming

• De statusbewerkingen    
• Inleiding tot Event Sourcing  
• Demonstratie van Stateful Streaming met Spark

Sliding Window-bewerkingen met Spark Streaming 

• Windowing-bewerkingen   
• Windowing-functies 
• DEMO Sliding Window-bewerkingen met Spark Streaming

Inleiding tot Structured Streaming   

• Overzicht van Structured Streaming  
• Uitvoermodi en triggering met Structured Streaming 
• DEMO Inleiding tot Structured Streaming

Inleiding tot Apache Kafka 

• Overzicht en architectuur van Apache Kafka   
• Berichtenverkeer met Kafka   
• Demo: Lokale installatie van Apache Kafka 

Kafka-integratie met Spark Streaming    

• Spark Streaming gebruiken met Apache Kafka

De receiver-aanpak gebruiken

• DEMO: Lokale installatie van Apache Kafka
• De directe aanpak gebruiken
• DEMO Spark Streaming met Apache Kafka via de directe aanpak

Kafka-integratie met Structured Streaming 

• Structured Streaming en Kafka   
• Gegevens lezen en schrijven naar Kafka met Structured Streaming  
• DEMO Kafka en Structured Streaming

Spark Streaming gebruiken met Kinesis 

• De Amazon Kinesis Producer- en Client-bibliotheken gebruiken 
• DEMO Introductie tot Amazon Kinesis

Spark Streaming gebruiken met Kinesis 

• Spark Streaming gebruiken met Amazon Kinesis   
• DEMO Spark Streaming gebruiken met Amazon Kinesis
• Structured Streaming gebruiken met Amazon Kinesis
• DEMO Structured Streaming gebruiken met Amazon Kinesis

Aanvullende Spark Streaming-integraties 

• Spark Streaming met MQTT  
• Spark Streaming en Apache Flume 
• Spark Streaming en Twitter  
• Spark Streaming en Snowflake  
• DEMO Structured Streaming met Snowflake

FAQ

Is er nog ander lesmateriaal naast de video's die je in je eigen tempo kunt bekijken?

Absoluut! De on-demand leerervaring gaat verder dan video's en biedt een volledig meeslepende leeromgeving, inclusief:

• LEREN: Interactieve herhalingsquizzen en praktijkgerichte casestudy's om concepten te versterken
• BEOORDELEN: Diagnostische, module- en eindtoetsen om je voortgang bij te houden
• OEFENEN: Praktische oefeningen met realistische simulaties en Cloud Labs
• INZICHTEN VERKRIJGEN: realtime analyses en rapporten die uw leervoortgang, uitdagingen en aanbevolen onderwerpen om te herhalen belichten, zodat u de belangrijkste vaardigheden onder de knie krijgt

Kan ik deze cursus volgen naast mijn fulltime baan?

Ja! Deze cursus is ontworpen voor maximale flexibiliteit. De cursus wordt aangeboden in een online formaat dat u in uw eigen tempo kunt volgen, waardoor u op uw eigen gemak kunt leren en uw vaardigheden kunt verbeteren, wat het gemakkelijk maakt om dit te combineren met uw fulltime baan.

Is deze cursus geschikt voor beginners?

De cursus is het meest geschikt voor cursisten met basiskennis van programmeren en enige ervaring met big data-concepten.

Heb ik kennis van Hadoop nodig?

Nee, maar bekendheid met big data-ecosystemen kan nuttig zijn.

Waarvoor wordt Spark Streaming gebruikt?

Het wordt gebruikt voor het verwerken van realtime datastromen, zoals logbestanden, financiële transacties, IoT-gegevens en feeds van sociale media.

Leer ik praktische implementatie?

Ja, de cursus richt zich op praktische Spark Streaming en de ontwikkeling van realtime pijplijnen.

Wat is het verschil tussen batch- en streamingverwerking?

Batch verwerkt gegevens in brokken, terwijl streaming gegevens continu in realtime verwerkt.

Is Spark Streaming nog steeds relevant?

Ja, het wordt op grote schaal gebruikt in productiesystemen voor realtime analyses en is een kernvaardigheid in data-engineering.

Belangrijkste kenmerken

• Cursus en materiaal in het Engels
• Gemiddeld - Gevorderd niveau
• 9 uur aan on-demand video's
• 38 begeleide praktische oefeningen
• 13 automatisch beoordeelde toetsen
• 33 herhalingsquizzen
• 3 praktijkgerichte projecten
• 25+ uur aanbevolen studietijd
• 1 jaar toegang tot het leerplatform
• Certificaat van voltooiing inbegrepen