-
Diplômes
-
Diplôme ingénieur ISIMA (statut étudiant)
-
3ème année
-
Semestre 9
-
f4
-
ue-science-donnees
-
Introduction au Big Data : application à Microsoft Azure
Introduction au Big Data : application à Microsoft Azure
Objectifs
- Comprendre les enjeux de la data science et du big data
- Comprendre et s’approprier la chaîne de traitement complète de la data
- Avoir une vue d’ensemble des solutions techniques pour le big data
- Stockage
- Requêtage
- Traitement et analyse
- Data visualisation
- Appliquer le traitement de la donnée sous Microsoft Azure
Plan du cours
- Introduction et rappels
- Les origines du Big Data
- Quelques définitions
- Les données au coeur des enjeux
- Les cloud computing
- L'évolution des architectures traditionnelles
- Le calcul distribué
- La chaîne de la data dans l'entreprise
- La méthodologie data science
- Stockage des données & Microsoft Azure
- Rappels
- Qu'est-ce que le HDFS ?
- Microsoft Azure
- Calcul distribué & Spark & Azure Databricks
- Rappels
- Qu'est-ce que le MapReduce ?
- Qu'est-ce que Spark ?
- Azure Databricks
- Data Science & Machine Learning
- Rappels
Description des TP
- Introduction à Microsoft Azure et Azure Data Lake Storage
- Créer une base de données SQL
- Introduction à Azure Data Lake Storage
- Charger des données dans Azure Data Lake Storage
- Introduction à Azure Databricks
- L'environnement Databricks
- Lecture et écriture de données
- Travailler avec des DataFrames
- Machine Learning avec Spark et Azure Databricks
- Qu'est-ce que le machine learning ?
- Analyse exploratoire
- ML Workflows
- Feature engineering
- Machine learning
Connaissances requises
A remplir
RSE (Responsabilité Sociale et Environnementale)
Bibliographie
A remplir