Azure Data Lake Services – Wat kun je hiermee?

Afgelopen dinsdag 7 maart zijn Vanity en ik naar Microsoft geweest voor een presentatie (en demo) rondom Azure Data Lake Services. Het was serieus een leuke presentatie!

 

 

 

 

 

 

Azure Data Lake Services (paraplu-naam voor: Azure Data Lake Store en Azure Data Lake Analytics) staat centraal volgens Microsoft als het gaat om Big Data oplossingen:

 

 

 

 

 

 

 

 

 

 

Dat we tegenwoordig véél data kunnen opslaan binnen Azure, dat weten we wel. Maar toch hebben we het hier over ‘Petabyte sized files’…neem een momentje…..begint het al te dagen…??….dat wil dus ook zeggen dat je dat grote bestandje ergens lokaal moet hebben staan óf non-stop bij blijft schrijven (streamen)…maar hoe krijg je dat bestandje er dan ooit weer af (of naar AWS bijvoorbeeld)?

Goed beetje sceptisch mag wel, maar ik ben wel fan van ADLS!

Microsoft gaf een tweetal ‘voorbeelden’ hoe je ADLS kunt gebruiken binnen Batch of Real-time Azure-landschappen:

 

 

 

 

 

Moet zeggen dat ik de real-time variant wat omslachtig vind, moet simpeler kunnen volgens mij. Uiteraard ligt het eraan wat je precies wilt doen.

Het onderstaande voorbeeld deelde Microsoft ook, het betreft hier een ‘Retail-klant’:

 

 

 

 

 

 

Security en encryption is hot anno 2017, hier spelen ze mooi op in. ADL Store is altijd encrypted. ‘In motion’ m.b.v. een SSL-verbinding en ‘at rest’ m.b.v. sleutels welke je vervolgens het beste kunt opslaan in de Azure Key Vault:

 

 

 

 

 

 

U-SQL is de taal van ADLS en het is een mix tussen (T-)SQL en C#. Mocht je al wat gedaan hebben met Biml, dit zit in hetzelfde straatje ongeveer:

 

 

 

 

 

Door C# hierin te combineren kun je ook heel gemakkelijk gebruikmaken van Azure’s Cognitive Services zoals gezichtsherkenning, leeftijd schatten, gender-bepalen, sentiment-analyse en ook het analyseren van afbeeldingen. Hieronder een aantal slides met voorbeeld-code:

 

 

 

 

 

 

 

 

 

 

Zelf ook de slides nalezen? Hier enkele linkjes:

https://channel9.msdn.com/Series/AzureDataLake

http://aka.ms/hditraining

http://aka.ms/adlanalytics

http://aka.ms/adlstore

 

De snacks waren lekker! Thanks Microsoft :)

 

 

 

 

 

 

 

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Deze website gebruikt Akismet om spam te verminderen. Bekijk hoe je reactie-gegevens worden verwerkt.