Catatan Si Data Scientist

Tantangan Menulis Hari ke-104

Oleh: Bernardus Ari Kuncoro

Dalam acara TalksON ke-41 minggu lalu, saya dipercaya sebagai moderator. Topiknya tentang Optimasi persediaan uang cash pada kantor cabang atau unit di BRI. Mas Risal Andika yang menjadi nara sumber.

Dalam webinar tersebut, machine learning digunakan untuk memodelkan berapa uang tunai yang mesti dipersiapkan di tiap kantor cabang BRI. Ada 5000-an model machine learning yang dibangun. Menarik, bukan?

Terdapat 200-an peserta yang mengikuti dari mana-mana. Lewat Zoom. Berikut ini adalah pertanyaan-pertanyaan yang muncul.

Beberapa ada yang sudah dijawab. Namun mengingat keterbatasan waktu, banyak pertanyaan yang belum sempat dibahas.

Wirasta C. Pambudi to Me (Direct Message) (7:32 PM)
Kak mau nanya, dalam melakukan prediksi machine learning, tools apa yang di gunakan?
Wirasta C. Pambudi to Me (Direct Message) (7:35 PM)
Seberapa besar peran data science di BRI?
Wirasta C. Pambudi to Me (Direct Message) (7:38 PM)
karena di perusahaan saya hal prediktif seperti ini sudah pernah dilakukan namun hasil perhitungan berdasarkan statistic seperti ini mentah di mata direksi, sehingga peran data science di perusahaan saya tidak powerfull, mohon penjelasannya

Yulinda to Everyone (7:42 PM)
seberapa presisi prediksi data dr machine learning dg eksisting

Arif RH to Everyone (7:42 PM)
Itu metode evaluasi yg bagus itu yg mana ?

Edo Pratama to Everyone (7:43 PM)
mas, model ini tiap berapa kali dilakukan update nya?

Bima Priambodo to Everyone (7:44 PM)
mas bagaimana life cycle maintenance modelnya?

Rio to Everyone (7:44 PM)
[tanya] evaluasi yang MASE tadi untuk MAE2nya dari mana ya?

Fakhri Rizal Santosa to Me (Direct Message) (7:46 PM)
Siapakah inisiator dalam merubah metode moving average menjadi ML, apakah karena temuan dari team data scientist atau memang menjadi issue di level management / unit bisnis?

Kurnia Andre Febrian to Everyone (7:46 PM)
mas, terkadang saya mengalami stuck, mengaplikasikan persamaan matematis ke codingnya. ada kah tips untuk mengurangi itu? ehehhe

Rio to Everyone (7:50 PM)
[tanya] kalau di BRI, dalam satu project data science kan tadi dibilang ada data engineer, data analyst, data scientist, sama dari product. biasanya berapa orang yang terlibat ya dalam satu project data science tersebut? terus waktunya berapa lama? apakah sepanjang tahun atau beberapa bulan?

Bima Priambodo to Everyone (7:52 PM)
model sampai 5000 unique,, bagaimana cara maintenance modelnya mas?? life scyclenya bagaimana ms?

Nofriandi to Everyone (7:59 PM)
materi persentasi nanti dishare nggak mas?

David Kurniawan

1. Bahasa pemrograman dan platform apa yang sering digunakan BRI?
2. Machine learning mengikuti trend and seasonality, lalu bagaimana solusi untuk pandemi seperti sekarang ini dimana datasetnya akan sangat berbeda dan akan susah untuk diprediksi?
3. Bagaimana mengetahui atau tracking model kita perlu retraining setelah deploymenet?

Iren Ramadhan:
Halo mas, tadi sempat disebutkan bahwa cukup sulit untuk memprediksi di saat Corona seperti ini (dependen kepada peraturan pemerintah). Untuk di BRI sendiri ketika keadaan seperti sekarang, apakah metode predictionnya masih sama seperti yang dipresentasikan saat ini atau ada metode lain ya? Terima kasih

Revalda:
selamat malam, izin bertanya, apakah pada case ini, BRI memasukkan semua variable yang ada pada slide, atau ada eliminasi sehingga tidak semua fitur dimasukkan ke model? lalu jika dilakukan menggunakan metode apa?

Abduh Riski:

1. bagi yang tertarik untuk melakukan penelitian juga tentang prediksi kas bri seperti ini, apakah bisa mendapatkan data yang diperlukan? bagaimana caranya?
2. apa Bahasa pemrograman yang digunakan oleh teman2 bri dalam menndevelop model machine learningynya.

Heri Wahyu:
Pada Feature Engineering, jika kita membuat feature baru, apakah berarti pada saat model digunakan nanti datasetnya juga harus dilakukan feature engineering juga untuk membuat feature baru tersebut ya ?

Arnawisuda:
Utk lebih mempelajari materi hari ini, apakah dimungkinkan kami mendapatkan data2 primer yg dpt diolah seperti yg disampaikan narasumber??

Robby:
Selamat malam host IYKRA, berikut beberapa pertanyaan yang saya ajukan. Semoga bisa diajukan, terimakasih.

1. Berapa hari prediksi kedepan yang ideal dan hari pengiriman uang untuk Cash In dan Cash Out pada unit kerja maupun kantor cabang BRI?
2. Algoritma apa yang paling tepat dan sering diterapkan dalam prediksi Cash in dan Cash out?
3. Berapa hari jeda remodeling yang sering dilakukan di BRI?
4. Ada banyak unit kerja dan kantor cabang, berarti perlu analisis prediksi 1 per 1 unit kerja dan kantor cabang di BRI?
5. Error rate (MAPE, MAE, MASE) apa yang biasa digunakan? Berapa batas error rate yang ideal yang digunakan dalam prediksi Cash in dan Cash out di BRI?

Muhammad Ashabul Kahfi:
Mas, mau tanya apakah ada best practice untuk mengetahui bahwa data yang dimiliki bisa dilakukan prediksi menggunakan machine learning

Kevin Prasetio:
mengapa menggunakan mape ? tidak menggunakan LSE atau MSE?

Charisma

1. Apakah ada sample dataset yang bisa digunakan untuk melakukan prediction seperti kasus yang dilakukan kak risal?misalkan di kaggle atau lainnya. 2. tools apa aja yang digunakan kak risal supaya menghasilkan prediction dg machine learning tersebut? 3. metode evaluasi yang mana yg paling bagus dalam penggunaan machine learning?

Tris DIanasari
Selamat malam bapak Risal, berikut beberapa pertanyaan yang saya ajukan:

1. Setelah diperoleh model akan dilakukan iterasi, kapan iterasi akan berhenti?
2. Apakah ada treatment data sebelum masuk model? seperti data preparation (missing value, outlier dll)
3. Berapa proporsi data training dan data testing?
4. Bagaimana cara melakukan seleksi variabel sebelum masuk model?
5. Setelah pembentukan model, apakah dilakukan proses backtesting untuk menguji kestabilan model?
6. Hasil proyeksi dapat memprediksi sampai jangka waktu kapan?

Terima Kasih

Prasetyo:

1. Prediksi terkait kebutuhan kas unit kerja dapat tersaji H- berapa kah dr kebutuhan? untuk mengantisipasi kekurangan kas agar unit kerja punya waktu untuk melakukan Tambahan Kas 2. jika terjadi Rush/penarikan banyak dan tiba2 karena adanya kebutuhan mendadak/ ada perubahan data bisa langsung mengupdate kah? tks

Andi:
Hi, pengen nanya Kak, terkait unexpected factor seperti keputusan libur pemerintah. Bagaimana treatmentnya ya?

Aditya EKa:
apakah melakukan perhitungan prediksi machine learning setiap hari? atau tiap minggu?

Andi:
Hi, pengen nanya Kak, terkait unexpected factor seperti keputusan libur pemerintah. Bagaimana treatmentnya ya?

I Wayan:
Dalam pengembangan terlihat menggunakan beberapa metode. seperti ARIMA, Linear Regression, dll. Apa yg menjadi kelebihan dan kekurangan masing2 metode sehingga perlu dilakukan kombinasi?

Kurnia Andre:
mas, terkadang saya mengalami stuck, mengaplikasikan persamaan matematis ke codingnya. ada kah tips untuk mengurangi itu? ehehhe

Adinda Oktavia:
bagaimana tim data scientist melakukan penyesuaian rumus/metodologi yang diapplikasikan pada saat kondisi ekonomi tidak menentu (contoh saat Cov 19)? dan seberapa besar effect dari kebijakan cashless yang saat ini banyak berlaku untuk transaksi yang ada.

Ocha Alieffi:
aya mau tanya kak proses pola kolaborasi dengan tim lain (DE,DA,dll) seperti apa ya gambarannya

Izin bertanya mas, kan tadi disebutkan menggunakan OLS. Berarti untuk asumsi-asumsi klasiknya harus terpenuhi. Bagaimana ketika terdapat beberapa asumsi-asumsi tersebut tidak terpenuhi? Sehingga, apa yg harus dilakukan untuk dapat dilakukan analisis lebih lanjut?

Andi:
`Nanya lagi kak, tadi dikatakan bahwa proporsi predictior itu 20%nya merupakan input dari subject-matter expert. bagaimana menentukan apakah “wejangan” dari subject matter-expert di-accept atau enggak ??

Kalideres, 12 Juli 2021