DDC 4 april 2023 - Azure Data Lake de extensie voor al je data

Dinsdag, 4 april 2023, door Bert Verbeek

Bij de demo van Azure Data Lake werd verteld over de vele mogelijkheden die dit platform biedt voor het beheren van grote hoeveelheden ongestructureerde data. Tijdens de presentatie werden verschillende aspecten van de Azure Data Lake benadrukt, waaronder de lage kosten, hiërarchische mappenstructuur, en de mogelijkheid om data op te slaan in zowel csv- als parquet-formaat.

Het opslaan van ongestructureerde data in Azure blob storage kan snel oplopen in kosten, daarom biedt Azure Data Lake een efficiëntere manier om met deze data om te gaan. Door het exporteren van ongestructureerde data vanuit BC naar de Azure Data Lake, kan het vervolgens verwerkt worden in een kleine SQL database.
De demo benadrukte het belang van het combineren van geëxporteerde delta's van data in csv formaat en het samenvoegen van deze data met Synapse. Het proces bestaat uit drie stappen die worden uitgevoerd via verschillende pipelines. Het opschonen van oude data kan eenvoudig worden gedaan met filters.
Het opslaan van data in parquet formaat biedt een veel efficiëntere manier van opslag dan csv, omdat parquet bestanden veel kleiner zijn. Eenmaal opgeslagen in parquet formaat, kunnen deze bestanden worden ingelezen in PowerBI.

Tijdens de demo werd ook benadrukt dat Data Lake kan worden gebruikt als goedkoop archief voor ongestructureerde data. Telemetrie kan als log worden geëxporteerd en Data Lake kan integreren met andere applicaties.

Tot slot werd benadrukt dat Dataverse geschikt is voor kleinere hoeveelheden gestructureerde data en kan integreren met andere applicaties. Als kijker van de demo werd ik geïnspireerd om aan de slag te gaan en bc2adls van GitHub te downloaden en bij te dragen aan het open source project.

Kortom, de demo van Azure Data Lake heeft me laten zien dat het een veelzijdig en krachtig platform is dat bedrijven kan helpen hun ongestructureerde data efficiënter te beheren en te analyseren.

Verslag: Edo de Roo (& ChatGPT)
Foto's: Vincent van Rens (helemaal zelf ;-) )