Azure Data Lake (Services) – Microsoft’s Big Data oplossing

‘Big Data’, een term die we inmiddels allemaal wel kennen dankzij veel marketing…al moet ik zeggen dat het vaak bij marketing bleef. Totdat Microsoft haar ‘Big Data’-oplossing aankondigde (29 april 2015, tja we worden ook ouder):



 

Maar hoe ziet dat er nu in de praktijk uit?
Wat is het?
Hoe gebruik je het?
Wat ‘past’ erin?
Laten we simpel beginnen!

 

Azure Data Lake (Services) is een verzamelnaam voor de volgende afzonderlijke Azure services:
Azure Data Lake Store (ADLS)
Azure Data Lake Analytics (ADLA)
Azure HDInsight

Azure Data Lake Services
Azure Data Lake Services


 


 


 


 


 


 

HDInsight is (misschien wat kort door de bocht) de open source versie voor storage & analytics. Ik heb het idee dat dit toch te complex is om te configureren en (…belangrijk…) lastig te gebruiken (denk o.a. aan Python). Dus vergeet HDInsight even voor nu :)

ADLS is het ‘opslagcomponent’, dit is het échte ‘Data Lake’ zeg maar. Dé marketingterm anno 2017 en hier past alles in (zoals de naam al doet vermoeden). Denk aan video’s, afbeeldingen, CSV-bestanden en ook JSON-bestanden.

ADLA is voor al het magische werk, de analytics bovenop je structured, semi-structured en non-structured data.

 

Om een beetje een idee te geven van wat (relatief simpel) mogelijk is met ADLS i.c.m. ALDA is om afbeeldingen te analyseren m.b.v. de Azure Cognitive Services en een paar regels U-SQL.

Hieronder een voorbeeld van willekeurig afbeeldingen (man, vrouw, hond, kat en muis). Wat ‘ziet’ Microsoft’s Machine Learning / A.I.?



 


 


 


 

Indien je puur de focus legt op personen, kun je ook het geslacht laten ‘bepalen’ en een leeftijdsschatting vragen:

 


 


 


 

Advies nodig m.b.t. ‘Big Data’ of een Data Lake? We helpen je graag! Contacteer ons hier :)