Collecteur d’API planifié
Interroger chaque jour une API ouverte et stocker l’historique dans SQLite, avec journal des erreurs.
Tous les parcoursDécouvrir Coursera PlusAprès l’étape 1 Après l’étape 2 Après l’étape 3 Après l’étape 4
Data et IA · 07Débutant
Data Engineer
Développeur qui veut construire des pipelines plutôt que des modèles.
Python robuste et testé, préparation de données à grande échelle, puis programmation fonctionnelle et Spark en Scala.
472heures de cours
48semaines à 10 h
4étapes
19cours
3universités
Compétences visées
Data ProcessingDebuggingData StructuresData CleansingProgramming PrinciplesData VisualizationWeb ScrapingData PresentationPython ProgrammingPandasNumPyData Manipulation
Intitulés de compétences repris de Coursera.
Métiers visés
- Data engineer
- Ingénieur big data
- Développeur back-end data
Progression
- 1University of MichiganDébutantPython, SQL, SQLite
Prérequis annoncés : No prerequisites; designed as an on-ramp to programming
Voir les 5 cours
Cours Niveau Durée Note (avis) Programming for Everybody (Getting Started with Python) Débutant 17 h 4,8 (233 775) Python Data Structures Débutant 20 h 4,9 (97 365) Using Python to Access Web Data Débutant 19 h 4,8 (44 591) Using Databases with Python Débutant 14 h 4,8 (21 659) Capstone: Retrieving, Processing, and Visualizing Data with Python Débutant 9 h 4,7 (14 483) - 2University of MichiganIntermédiairePython, NumPy, pandas, SciPy, Jupyter
Prérequis annoncés : Python 3 Programming specialization or equivalent Python basics
Voir les 4 cours
Cours Niveau Durée Note (avis) Python Debugging: A Systematic Approach Intermédiaire 20 h 3,8 (12) NumPy and Pandas Basics for Future Data Scientists Intermédiaire 19 h 4,2 (14) Statistics with Python Using NumPy, Pandas, and SciPy Intermédiaire 20 h — Python Debugging Capstone Project: Fixing and Extending Code Intermédiaire 15 h — - 3University of Colorado BoulderDébutantPython, pandas, NumPy, Seaborn
Prérequis annoncés : Python fundamentals and statistics
Voir les 5 cours
Cours Niveau Durée Note (avis) Fundamental Tools of Data Wrangling Débutant 27 h 4,3 (22) Data Collection and Integration Intermédiaire 28 h 4,5 (16) Data Understanding and Visualization Intermédiaire 25 h — Data Processing and Manipulation Intermédiaire 29 h — Data Wrangling with Python Project Intermédiaire 26 h — - 4École Polytechnique Fédérale de LausanneIntermédiaireScala, Apache Spark, Apache Hadoop
Prérequis annoncés : At least one year of programming experience
Voir les 5 cours
Cours Niveau Durée Note (avis) Functional Programming Principles in Scala Intermédiaire 56 h 4,8 (8 271) Functional Program Design in Scala Intermédiaire 35 h 4,5 (3 137) Parallel programming Intermédiaire 33 h 4,4 (1 844) Big Data Analysis with Scala and Spark Intermédiaire 28 h 4,6 (2 600) Functional Programming in Scala Capstone — 32 h 4,4 (547)
Avec Coursera Plus
Ce parcours représente 472 heures, soit environ 11 mois à 10 heures par semaine. L’abonnement Coursera Plus donne accès à la plupart de ses cours pendant cette période.
Projets à réaliser
Bibliothèque testée
Transformer des scripts en module Python propre, couvert par des tests pytest.
Pipeline ETL
Extraire des fichiers CSV et JSON, les nettoyer et les charger dans une base, avec des contrôles de qualité.
Traitement Spark
Agréger plusieurs gigaoctets de trajets de taxis ouverts avec Spark en Scala et comparer les temps de calcul.
Manuels gratuits
Python for EverybodyCharles R. SeveranceGratuit, CC BY 4.0
Python for Data Analysis, 3rd ed.Wes McKinneyAccès libre en ligne
Software Engineering at GoogleT. Winters, T. Manshreck, H. Wright (eds.)Gratuit en ligne, CC BY-NC-ND 4.0