eLearning
linkedin.com
Basisbeginselen van data engineering
Summary
Leer de belangrijkste facetten van data engineering, van zijn plaats in de data science, tot de specifieke taken en vaardigheden die elke data engineer moet bezitten.
Data science kan algemeen worden gedefinieerd als het proces om gegevens nuttig te maken en data engineering is een essentieel onderdeel van het hoe en waarom. Als u data science ziet als een raceauto, dan zijn de data engineers de pitcrew. Ze besturen de auto niet, maar ze maken hem veel gemakkelijker te besturen. Data engineers zorgen ervoor dat de gegevensstroom vlot verloopt, houden toezicht op de systemen, anticiperen op problemen en herstellen de gegevenspijplijn wanneer zich problemen voordoen. Zij halen en verzamelen gegevens uit verschillende bronnen en laden die in een enkele, gemakkelijk te raadplegen database. Kortom, data engineers maken het leven van data scientists gemakkelijker. In deze cursus legt Harshit Tyagi de grondbeginselen van data engineering uit. Hij behandelt belangrijke onderwerpen zoals data wrangling, databaseschema's en het ontwikkelen van ETL-pijplijnen. Hij geeft ook details over verschillende data engineering tools, zoals Hive, Hadoop, Spark, en Airflow. Tegen het einde van deze cursus zou het overduidelijk moeten zijn waarom de data engineer een van de meest waardevolle mensen is in een gegevensgestuurde organisatie.