eLearning
linkedin.com
Podstawy inżynierii danych
Summary
Poznaj kluczowe aspekty inżynierii danych, od jej miejsca w dziedzinie nauki o danych, po konkretne zadania i umiejętności, które powinien posiadać każdy inżynier danych.
Naukę o danych można ogólnie zdefiniować jako proces tworzenia użytecznych danych, a inżynieria danych jest kluczową częścią tego, jak to się odbywa i dlaczego. Jeśli myślisz o nauce danych jak o samochodzie wyścigowym, inżynierowie danych to ekipa pit-stopu. Nie prowadzą samochodu, ale znacznie ułatwiają jego prowadzenie. Inżynierowie danych dbają o płynny przepływ danych, monitorują systemy, przewidują problemy i naprawiają potok danych, gdy tylko pojawią się problemy. Wyodrębniają i zbierają dane z wielu źródeł i ładują je do jednej, łatwej do przeszukiwania bazy danych. Krótko mówiąc, inżynierowie danych ułatwiają życie analitykom danych. Podczas tego kursu Harshit Tyagi wyjaśnia podstawy inżynierii danych. Zajmuje się kluczowymi tematami, takimi jak wymiana danych, schemat bazy danych i tworzenie potoków ETL. Opisuje również kilka narzędzi do inżynierii danych, takich jak Hive, Hadoop, Spark i Airflow. Pod koniec tego kursu powinno być całkowicie jasne, dlaczego inżynier danych jest jedną z najcenniejszych osób w organizacji opartej na danych.