Melanjutkan bercerita , sambil menikmati hidung mampet sebelah.😖
Hari ini saya coba share pengalaman terkait dengan extracting data atau rekan-rekan biasa menyebutnya dengan web scraping, namun jika pada artikel sebelumnya
disini saya menggali data dengan bantuan axios, kali ini karena situs yang dikehendaki client berbeda dan cenderung lebih rumit dengan berbagai barrier, jadi saya menggunakan teknik lain.
Situs yang dijadikan tempat menambangnya adalah situs resmi e-commerce tiktok, bukan produk jual beli biasa namun marketplace untuk para content creator.
Jadi didalam situs ini kita bisa melihat berbagai macam data analisa terkait dengan content creator, tampilannya mirip dengan kalodata.com, namun kalau ini lebih terperinci ke konten creator. Contoh data yang disediakan adalah :
- Jumlah follower
- Rata-rata tayangan video
- GMV atau GPM atau akumulasi nilai pembelian dari pengguna tiktok
- Profile content creator hingga agensi yang menaungi mereka
Dengan melihat point-point penting ini, kita sudah bisa simpulkan bahwa data ini sangat berguna sekali untuk pegiat bisnis yang mau hire/endorse para content creator.
Contoh penggunaan :
Saya ingin dicarikan data content creator dengan audiens rata-rata diatas 70% wanita dengan jumlah follower minimal 10rbu tapi yang bersangkutan belum banyak mendapat endorse (produk yang dijual masih sedikit) dan ybs. juga belum dinaungi secara professional oleh agensi, dengan kontak yang bisa dihubungi.
Jelas permintaan ini sangat spesifik dan unik sekali, jika hanya mengandalkan pencarian manual, tentunya ini akan memakan banyak waktu dan kurang efisien, kalaupun datanya sudah tersedia pasti akan rumit sekali untuk kita bisa mengeliminasi sesuai kebutuhan kita.
Nah terkait dengan project kali ini kurang lebih sama, data content creator ditarik sebanyak mungkin sesuai kriteria dan digabungkan dengan profile yang ada, data raw inilah yang nanti akan dijadikan bahan analisa oleh tim marketing research atau yang sejenisnya.
Lagi-lagi, karena memang setiap situs belum bisa mengcover semua kebutuhan yang kadang unik dari pegiat bisnis, disinilah peran saya sebagai pegiat data automation.
Namun karena ini berasal dari domain situs kelas dunia, pasti banyak barrier yang akhirnya memakai cara yang dulu pernah saya uji coba, namun belum pernah diterapkan secara professional. 👀
Tantangan yang ada, jelas adalah proses login, karena kita dihadapkan dengan OTP setiap kali login, dan captcha. Selain itu kalaupun kita sudah masuk dalam system situs affiliator tiktok ini, kita dihadapkan dengan banyak key dan token untuk setiap request API yang ada.
Bahkan sempat cek salah satu request API, payloadnya segambreng yang jelas ini ngga banget kalau kita harus ngulik ini satu-satu, habis waktu untuk ngulik ini sedangkan project tetap harus berjalan sesuai target. 😂😂
Akhirnya dengan kondisi yang cukup rumit saya menggunakan puppeteer core. Bagi yang belum tau, puppeteer yang sering saya bahas di akun Youtube saya adalah puppeteer dengan browser dafault adalah cromium, tidak dengan puppeteer core.
Jadi ia menggunakan browser default yang sudah terinstall dikomputer, dalam hal ini adalah browser chrome. Alasan sederhananya karena saya akan menggunakan profile existing dari client untuk menghindari OTP, captcha, dan cookie yang tertanam didalam profile chrome tersebut. Dengan cara ini kita sudah mem-bypass kondisi login dan seterusnya dan menggunakan fungsi puppeteer yang membaca per-element pada halaman web untuk melakukan request.
Cara ini juga jelas menghindari waktu belajar terkait dengan data payload setiap kali request. selebihnya biarkan javascript yang bekerja keras untuk mengambil data sesuai kebutuhan client.
Tidak ada preview atau tampilan pada project kali ini, karena semua base on script, namun untuk membundling kerumitan script, biasanya saya menggunakan single file bat. Jadi client hanya tinggal double klik dan system akan take-over browser yang ada.
terlihat ada folder components, tempat saya menyembunyikan kerumitan, file yang disensor adalah file bat, file excel adalah output ketika aplikasi dengan sempurna berjalan, pdf ini adalah tutor sederhana cara penggunaannya, dan yang terakhir adalah file notepad tempat saya menyimpan nama profile chrome.
