Pizza sessies – Event Streams

Bij veel bedrijven nemen gebeurtenissen tegenwoordig een belangrijke plaats in bij de bedrijfs­voering. Klanten (intern of extern) willen een snelle response en het is dus van belang om realtime beslissingen te nemen op basis van gebeurtenissen. De grote hoeveelheden gebeurtenissen in een bedrijf creëren echter enorm veel data. Het is daarmee lastig om realtime inzicht te verkrijgen in deze data, laat staan om op basis hiervan realtime beslissingen te nemen. Event streaming is een technologie die hierbij ondersteuning kan bieden en kennis hieromtrent is dus belangrijke bagage voor de data integratie specialisten bij Virtual Sciences.

In 2 online pizza sessies zijn zo’n 20 collega’s onder leiding van één van onze architecten, Luberto Klaassen, aan de slag gegaan om meer kennis op te bouwen over event streaming. Momenteel is Apache Kafka het meest gebruikte product voor het streamen van events en dit product stond dan ook centraal bij de sessies.

Leidraad voor de sessies was de Cognitive Class cursus Simplifying data pipelines with Apache Kafka. Deze cursus heeft de volgende modules:

1.      Introduction to Apache Kafka 

2.      Kafka Command Line 

3.      Kafka Producer Java API 

4.      Kafka Consumer Java API

5.      Kafka Connect and Spark Streaming

Iedere module van deze cursus bestaat uit enkele korte videopresentaties over het onderwerp, een praktische oefening en een quiz met enkele vragen. De cursus wordt afgesloten met een toets. Bij een voldoende score voor de quiz vragen en de toets verdient de deelnemer een badge.

Per module keken de deelnemers gezamenlijk naar de videopresentaties, waarna ze individueel aan de slag gingen met de praktische oefening en de quiz vragen. Bij de praktische oefeningen werd gebruik gemaakt van een lokaal Kafka cluster dat kon worden gestart met Docker Compose. Tijdens de oefeningen was er voor de deelnemers volop gelegenheid om elkaar te helpen via MS Teams.

Hoewel minder gezellig dan fysieke pizza sessies met de heerlijke pizza’s van onze kok Eduardo, waren de sessies geslaagd. Veel deelnemers hebben inmiddels hun badge behaald en de andere deelnemers gaan dit binnenkort ook doen.