Kuliah deep learning

Semester ini saya ngambil mata kuliah Deep learning. Deep learning memang sedang dan masih populer di komunitas machine learning dan NLP. Dan juga sebenarnya saya masih butuh kredit untuk semester ini, walaupun seharusnya semester terakhir tinggal garap thesis xD

Anyway, mata kuliah ini isinya mulai dari pengenalan neural network sampai metode-metode state-of-the-art di berbagai topik, terutama yang masyhur di kalangan computer vision dan NLP. Saya suka mata kuliah ini dosen pengampunya sangat pandai menjelaskan. Bayangkan mata kuliahnya aja nggak pakai prerequisite, padahal kalau dipikir-pikir deep learning itu udah seperti level duanya machine learning dasar.  Kalau dibilang penjelasannya hanya high-level untuk mempermudah mahasiswa memahami sebenarnya tidak juga. Menurut saya memang beliau pandai memilah mana yang perlu disampaikan, mana yang bisa ditaruh di referensi saja, mana yang perlu dijelaskan secara detail.

Kelasnya terbagi menjadi dua sesi: kuliah biasa dan practical. Kuliah biasa ya isinya mendengarkan penjelasan pak dosen. Ketika materinya seputar metode dasar atau hal yang sudah saya kenal sebelumnya mungkin saya kira jadi membosankan. Tapi saya tetap belajar bagaimana cara menerangkan materi tersebut agar mudah dimengerti. Soalnya kadang saya merasa sudah mengerti sesuatu tapi sewaktu menerangkan ke orang lain malah sulit xD Sebagian besar isi kuliahnya membahas paper-paper state-of-the-art, alias yang metodenya paling ampuh dan paling laris digunakan untuk suatu permasalahan. Karena deep learning ini masih terus berkembang, cuma ada satu-dua buku yang bagus untuk dijadikan referensi. Selebihnya harus giat baca paper-paper terbaru yang nggak ada habisnya. Agak sulit memang. Kuliah seperti ini sebenarnya membantu mempercepat update informasi, karena nggak perlu baca paper-nya satu-satu.

Setiap minggu ada tugas-tugas yang diberikan untuk mengimplementasikan sebuah model untuk task tertentu. Implementasinya pakai Tensorflow 2.0. Sebagian besar pakai modul tf.keras, mungkin biar gampang. Untuk tugasnya dosennya udah nyiapin template kodingan beserta instruksi apa yang harus ditambahin di kodingan itu. Seperti ikut tutorial di online course gitulah. Iya, seniat itu dosennya. Lalu sesi practical intinya membahas tugas-tugas tersebut, dari menerangkan apa task-nya, bagaimana solusinya (setelah submit), dan kalau sewaktu ngerjain mengalami kesulitan atau ada pertanyaan bisa ditanyakan saat sesi itu juga.

Setiap tugas ada poin (pastinya). Yang saya suka, setiap minggu juga ada competition task, di mana mahasiswa harus implementasi model yang sesuai untuk task yang diberi, dan performanya harus melewati baseline yang diberikan. Kalau skor performanya lebih tinggi dari batas tertentu, bisa dapat poin bonus. Dan 3 tim dengan skor tertinggi dapat hadiah coklat dan buku.

Saya senang banget dengan task seperti ini. Tapi lumayan time consuming dan teman setim tidak selalu sama excited-nya dengan saya. Sekali dua kali nyobain implementasi state-of-the-art tapi hasilnya kok nggak bisa sama haha. Tapi lebih seringnya malah nggak punya waktu untuk explore banyak model, ya kadang juga tidak sepenuhnya paham tasknya bagaimana jadi submit hasil seadanya saja, yang penting submit. Lucunya hampir semua kompetisi yang menang timnya itu2 terus. Saya rasa mereka memang niat explore banyak metode.

Lalu competition task yang terakhir adalah native language identification (NLI). Task-nya sama persis dengan shared task yang saya ikuti 2 tahun silam bareng Bu Yunita dan Rifqi. Ya sudah saya submit metode yang kami pakai untuk shared task itu saja, toh hasilnya lumayan tinggi, sekitar 80% akurasi. State-of-the-art task ini sebenarnya SVM dengan suatu kombinasi feature engineering gitu. Akurasinya sekitar 87%. Sebenarnya saya diuntungkan di task ini bukan cuma karena saya pernah ikut shared task-nya, tapi karena task ini adalah salah satu task yang deep learning bukanlah metode terbaik menjadi solusinya. Maka jadilah tim tak terkalahkan itu skornya jauh di bawah saya, sekitar 71%. Mereka di posisi ke-4 atau ke-5 kalau tidak salah, saya posisi pertama. Teman tim saya di posisi kedua karena kami pakai kodingan yang sama tapi nge-trainnya nggak barengan. Alhamdulillah, akhirnya kesampaian juga dapat buku gratis di kelas ini :D

Yang tertarik dengan mata kuliahnya bisa dilihat di sini: Deep Learning NPFL114 Charles University

Sekalian promosi paper, solusi NLI shared task tim kami tahun 2017 bisa dilihat di sini: NLI Shared Task 2017