arikuncoro
August 3, 2021
Tantangan Menulis Hari ke-126
Oleh: Bernardus Ari Kuncoro
Tulisan ini merupakan lanjutan dari tulisan sebelumnya terkait “APA ITU SPARK?”
Well, semakin besar kekuatan komputasi yang digunakan untuk mengolah data Anda, tentu semakin kompleks pembagian tugasnya.
Bayangkan Anda memiliki tugas membuat video.
Tugas video yang pertama hanya membutuhkan satu pemeran. Sementara video yang kedua butuh melibatkan banyak orang.
Yang melibatkan banyak orang, pembagian tugasnya menjadi lebih rumit. Sedangkan yang hanya melibatkan satu orang, manajemen pembagian tugasnya menjadi sangat sederhana.
Tentunya, hasil video dan waktu keseluruhan pengerjaan yang akan berbicara.
Kembali lagi ke SPARK. Bagaimana cara mengetahui kalau kamu butuh SPARK atau tidak? Coba pertimbangkan dua pertanyaan berikut ini.
1. Apakah data kamu terlalu besar untuk dikerjakan oleh mesin tunggal?
Ibarat kata, kamu ingin memroduksi film kolosal. Jumlah pemainnya harus lebih dari 100 orang, karena ada adegan perang. Kamera yang akan melakukan syut minimal tiga kamera. Bisakah kamu mengerjakannya sendiri? Tentu tidak.
2. Dapatkah kalkulasinya dengan mudah dibagi-bagi secara paralel?
Kunci dari kata mudah di sini adalah pembagian tugas yang jelas. Artinya, masing-masing node harus tahu tugasnya menangani bagian data yang mana. Melakukan kalkulasi apa. Sedemikian sehingga nanti akan ada yang berperan melakukan agregasi dan pengecekan tugas. Siapa yang berperan? Bisa manusia, bisa juga platform yang diprogram.
Semoga makin tidak bingung. Karena besok masih bersambung.
Kalideres, 3 Agustus 2021
