Generatieve AI voor DevOps: bouw je eigen LLM server (Virtueel)

Lesmethode :

Virtueel

Algemeen :

Maak jij als DevOps engineer graag gebruik van ChatGPT, maar mag dat niet op je werk vanwege beleid of gevoelige data? Ben je benieuwd hoe je je eigen Large Language Model (LLM) kunt hosten?

In de eendaagse workshop Generatieve AI voor DevOps Engineers bij AT Computing leer je hoe je je eigen lokale versie van ''ChatGPT'' opzet en gebruikt. Alles gebeurt volledig op basis van open-source technologie, zonder dataverkeer naar de cloud. De dag start met een introductie in Generatieve AI: welke LLM's zijn er beschikbaar en hoe zet je ze in? Daarna duiken we in de hardwarekant, waaronder GPU-acceleratie op virtuele machines en in containers.

Met diverse praktijkoefeningen richt je je eigen LLM-server in en maak je zelfs een eigen ''model''. Je leert ook hoe je een webgebaseerde client koppelt aan je LLM zodat je in feite je eigen ChatGPT-clone bouwt. Daarnaast ontdek je hoe je de LLM-API koppelt met Python, Retrieval Augmented Generation (RAG) toepast om met je eigen documenten te werken, afbeeldingen analyseert en zelfs loganalyse uitvoert met je LLM.

Door het volgen van deze cursus voldoe je direct aan de eisen vanuit de EU AI Act op het gebied van AI-geletterdheid: risico's, privacy, het delen van data, model bias en hallucinaties worden allemaal uitgebreid behandeld. Zo vergroot je niet alleen je praktische vaardigheden, maar blijf je ook volledig compliant met de nieuwe regelgeving.

Doel :

Na het volgen van deze cursus heb je kennis over de werking van de interne werking van GenAI in het algemeen en LLM's in het bijzonder. Ook leer je in theorie en praktijk hoe je zelf een lokale LLM-server opzet zonder dat jouw data naar een Cloud-omgeving wordt gestuurd. Bovendien voldoe je met het volgen van deze cursus aan de eisen vanuit de EU AI Act op gebied van AI Geletterdheid.

Doelgroep :

Deze cursus is voor IT professionals, systeembeheerders, software ontwikkelaars, Cloud- en DevOps Engineers die voor hun dagelijks werk gebruik willen gaan maken van large language models.

Voorkennis :

De volgende voorkennis is vereist:
- Linux/UNIX Fundamentals
- Linux Infrastructure
Kennis van een programmeertaal, bij voorkeur Python, is een pre.

Onderwerpen :

- Wat is Generatieve AI?
- Welke LLM¿s zijn beschikbaar en hoe kun je ze gebruiken?
- Tokens, vectors en parameters
- Hardware: CPU versus GPU: hoe gebruik je GPU-acceleratie op Virtual Machines en in containers (Docker)
- Een LLM-server opzetten.
- Een eigen LLM-model maken.
- Een web-based client toepassen voor je eigen LLM.
- De LLM API verbinden met Python.
- Het gebruiken van je eigen documenten met je eigen LLM.
- Afbeeldingen analyseren met je eigen LLM.
- Log-analyse met je LLM.