arikuncoro
August 8, 2021
Tantangan Menulis Hari ke-131
Oleh: Bernardus Ari Kuncoro
Apa saja tugas-tugas Data Engineer (DE)?
(Lanjutan dari postingan lalu)
Yuk, sama-sama belajar dari perumpamaan berikut.
Ibarat tim koki dari sebuah restoran, DE bertugas mencari bahan makanan yang berkualitas. Di samping itu, dia akan mencari solusi agar bahan makanan tersebut siap diolah. Dia juga akan mempersiapkan semua piranti masak yang diperlukan.
Jadi dari analogi ini, tugas Data Engineer adalah
– mengkurasi data
– membuat data mart dari data yang dikurasi agar siap dipakai oleh Tim Data Analitik
– membuat arsitektur manajemen data baik berupa database, data warehouse ataupun sistem pemrosesan data berskala besar (Big Data).
– mendeploy model atau hasil analytics dari tim Data Scientist
Sebagai DE,
kamu akan mendapati
– ETL/ELT yang akan men-transform data.
– Data Warehouse yang akan menyimpan dan menjaga kualitas data.
– Pipeline yang akan bertanggungjawab pada pengaliran data dari sumber ke tujuan.
Gimana, makin tertarik dengan bidang ini?
Simak postingan berikut, ya.
Kalideres, 8 Agustus 2021
