Les Deep Learning di Surabaya

Yang dipelajari di kelas deep learning Surabaya

Deep learning berurusan dengan satu benda: jaringan saraf tiruan. Bentuk dasarnya sederhana dan bisa dihitung dengan tangan. Sebuah neuron buatan menerima beberapa angka, mengalikan tiap angka dengan bobotnya, menjumlahkan hasilnya, menambahkan satu bias, lalu melewatkan jumlah itu ke fungsi aktivasi. Susun puluhan neuron berdampingan, Anda mendapat satu lapisan. Tumpuk beberapa lapisan, Anda mendapat jaringan. Kata deep merujuk pada tumpukan itu, tidak lebih dari itu.

Fungsi aktivasi terlihat seperti detail kecil, padahal ia yang menahan seluruh susunan tetap berguna. Tanpa fungsi tak linear di antara lapisan, perkalian bobot lapisan pertama dan lapisan kedua bisa digabung menjadi satu perkalian matriks, dan jaringan sepuluh lapis runtuh menjadi model satu lapis. ReLU meneruskan angka positif apa adanya dan menahan angka negatif di nol. Sigmoid memampatkan angka apa pun ke rentang nol sampai satu. Softmax mengubah sekumpulan angka menjadi peluang yang totalnya satu, dipakai di lapisan terakhir saat model memilih satu kelas dari banyak pilihan.

Di sesi perkenalan, tutor Edubia meminta Anda menghitung satu neuron di kertas lebih dulu, sebelum satu baris kode pun ditulis. Peserta yang melewati langkah kecil itu biasanya berhenti menebak-nebak saat kodenya berperilaku aneh dua bulan kemudian.

Enam istilah di bawah muncul di hampir setiap baris kode yang Anda tulis sesudahnya. Tutor membahasnya berurutan pada dua sesi pertama, memakai jaringan mungil berisi dua lapisan supaya seluruh angkanya masih bisa diperiksa dengan mata. Peserta di Surabaya yang datang dari latar teknik mesin, akuntansi, atau keperawatan tetap memulai dari titik yang sama.

Satu putaran latihan yang ditelusuri tutor sesi demi sesi

Model tidak belajar dari penjelasan. Ia belajar dari pengulangan satu putaran yang sama, ribuan kali. Putaran itu punya empat langkah dan urutannya tak pernah berubah, jadi begitu Anda memahami urutannya, sisa istilah di bidang ini jadi jauh lebih mudah diikuti. Bagian inilah yang menyita waktu sesi awal lebih banyak daripada bagian mana pun, dan ia memang layak menyitanya.

Langkah pertama adalah forward pass. Data masuk lewat lapisan awal, dihitung lapis demi lapis, keluar sebagai tebakan. Langkah kedua menghitung galat, yaitu seberapa jauh tebakan itu dari jawaban yang benar. Bentuk perhitungannya mengikuti jenis pekerjaan. Untuk klasifikasi dipakai cross-entropy, yang menghukum keras model yang percaya diri pada jawaban salah. Untuk regresi dipakai galat kuadrat, yang menghitung selisih angka lalu mengkuadratkannya supaya selisih besar terasa lebih mahal daripada selisih kecil.

Angka tunggal hasil langkah kedua itulah yang disebut loss, dan seluruh latihan berjalan untuk satu tujuan: menurunkannya. Tutor memakai satu grafik loss yang digambar ulang tiap epoch sebagai bahan bicara sepanjang program, sebab hampir semua persoalan teknis di bidang ini terbaca lebih dulu dari bentuk grafik itu.

Backpropagation dan pembaruan bobot di sesi les privat

Langkah ketiga adalah backpropagation, dan di sinilah sebagian besar peserta tersendat. Namanya terdengar rumit, isinya aturan rantai turunan yang sudah Anda temui di kalkulus. Pertanyaannya cuma satu: kalau satu bobot di lapisan ketiga digeser sedikit, loss naik atau turun, dan seberapa banyak? Jawabannya dihitung dari ujung keluaran, mundur lapis demi lapis, memakai turunan tiap fungsi aktivasi yang dilewati. Hasilnya satu gradien untuk tiap bobot: arah dan besar perubahan yang membuat galat mengecil.

Langkah keempat memakai gradien itu. Tiap bobot digeser sedikit berlawanan arah gradiennya, sebesar laju belajar yang Anda tetapkan. Itulah penurunan gradien. Sesudah bobot berubah, putaran diulang dengan potongan data berikutnya, dan begitu seterusnya sampai loss berhenti turun.

Tutor menuliskan keempat langkah ini pada sesi ketiga, lalu meminta Anda menjalankannya pada jaringan dua lapisan tanpa memakai pustaka apa pun. Menulis backpropagation sendiri sekali, sekalipun cuma untuk empat bobot, mengubah cara Anda membaca pesan galat di bulan-bulan berikutnya. Sesudah itu barulah pustaka dipakai, dan Anda tahu persis apa yang ia kerjakan di balik satu baris pemanggilan.

Laju belajar, batch, dan epoch yang disetel bersama tutor

Tiga angka mengatur ritme latihan, dan salah menyetelnya adalah sebab yang sering membuat model gagal padahal kodenya sudah benar. Peserta yang tak pernah diperlihatkan gejalanya biasanya menyalahkan datanya, lalu menghabiskan sepekan di tempat yang keliru.

Laju belajar menentukan seberapa jauh bobot digeser tiap pembaruan. Kalau terlalu besar, loss melompat naik turun tanpa pernah menetap, kadang membesar sampai berubah menjadi nilai tak terhingga di layar. Kalau terlalu kecil, loss memang turun, tapi turunnya sedikit demi sedikit sehingga latihan berjalan berjam-jam untuk kemajuan yang bisa dicapai dalam beberapa menit. Kedua gejala itu sengaja dibuat tutor di satu sesi khusus supaya Anda mengenalinya sendiri.

Batch adalah jumlah contoh yang dihitung sebelum bobot diperbarui sekali. Batch kecil membuat pembaruan sering tapi berisik; batch besar membuat pembaruan lebih tenang tapi menuntut memori lebih banyak. Epoch adalah satu putaran penuh atas seluruh data latih. Pengoptimal menentukan cara gradien diterjemahkan menjadi langkah: SGD menggeser bobot apa adanya, sementara Adam menyimpan rerata gradien sebelumnya sehingga langkahnya menyesuaikan diri per bobot dan biasanya menurunkan loss lebih cepat di awal.

Overfitting yang ditangani sejak sesi les pertama

Lawan utama di bidang ini adalah model yang menghafal. Overfitting terjadi saat model merekam data latih sampai ke bagian terkecilnya, termasuk gangguan yang tak berarti apa-apa, lalu gagal begitu bertemu data baru. Tandanya terbaca dari dua kurva yang digambar berdampingan: loss pada data latih terus turun, sementara loss pada data validasi berhenti turun lalu berbalik naik. Titik saat kedua kurva mulai berpisah adalah titik model berhenti mempelajari pola dan mulai menghafal.

Penangkalnya berlapis, dan tutor mengajarkannya berurutan. Data dibagi tiga sejak awal: latih untuk menyetel bobot, validasi untuk menilai selagi latihan berjalan, uji yang disimpan rapat dan hanya dibuka sekali di akhir. Dropout mematikan sebagian neuron secara acak di tiap putaran supaya model tak bergantung pada segelintir jalur hitung. Regularisasi menambahkan denda untuk bobot yang membesar tanpa alasan. Penghentian dini menyimpan model dari epoch tempat loss validasi berhenti turun, lalu menghentikan latihan. Augmentasi data memperbanyak contoh dengan memutar, memotong, atau menggeser citra yang sudah ada.

Kelima cara itu jarang dipakai sekaligus. Tutor mengajak Anda menambahkannya satu per satu dan mencatat perubahan kurvanya, sebab menambah tiga hal sekaligus membuat Anda kehilangan jejak mana yang berpengaruh.

Enam keadaan di bawah menutupi sebagian besar kemacetan yang dibawa peserta ke sesi. Tutor memakainya sebagai urutan pemeriksaan, dari yang murah dicoba ke yang mahal, supaya waktu sesi tak habis menebak.

Arsitektur yang dipilih tutor menurut bentuk data Anda

Jaringan berlapis biasa, atau multilayer perceptron, cocok untuk data berbentuk tabel yang tiap kolomnya berdiri sendiri. Begitu datanya citra, susunan itu jadi boros: gambar berukuran sedang berisi ratusan ribu angka, dan menghubungkan semuanya ke tiap neuron lapisan berikutnya menghasilkan bobot yang jumlahnya tak masuk akal. Konvolusi menyelesaikannya dengan menggeser satu kernel kecil ke seluruh gambar dan memakai bobot yang sama di tiap posisi, sehingga model belajar mengenali tepi, sudut, dan tekstur di mana pun letaknya. Pooling meringkas hasilnya supaya ukuran turun dan model tak bergantung pada posisi yang persis.

Data berurutan menuntut bentuk lain. Recurrent neural network membaca satu langkah pada satu waktu sambil membawa ingatan dari langkah sebelumnya, dan LSTM menambahkan tiga gerbang kecil yang mengatur apa yang disimpan, apa yang dilupakan, dan apa yang diteruskan, sehingga ingatan bertahan jauh lebih lama.

Transformer mengganti pembacaan berurutan itu dengan attention: tiap potongan masukan menimbang seluruh potongan lain sekaligus, lalu memutuskan bagian mana yang perlu diperhatikan lebih dulu. Susunan itu yang menopang model bahasa masa kini, dan ia berjalan jauh lebih cepat di kartu grafis karena hitungannya bisa dijalankan berbarengan. Data yang Anda bawa menentukan arsitektur mana yang digarap sampai dalam, dan urutan buku teks mengalah pada kebutuhan itu.

Transfer learning sebagai jalur peserta les di Surabaya

Melatih model besar dari nol menuntut jutaan contoh berlabel dan deretan kartu grafis yang menyala berhari-hari. Hampir tak ada peserta di Surabaya yang punya keduanya, dan memang tak perlu punya. Jalur yang wajar adalah transfer learning: mengambil model yang sudah dilatih pihak lain pada data raksasa, lalu menyesuaikannya ke persoalan Anda sendiri.

Cara kerjanya begini. Lapisan-lapisan awal model terlatih sudah mengenali hal umum: tepi, warna, tekstur, potongan bentuk. Kemampuan itu berlaku untuk hampir semua citra, termasuk citra yang belum pernah dilihatnya. Yang diganti tinggal lapisan terakhir, yang memutuskan nama kelas. Anda membekukan lapisan awal, melatih lapisan baru pada data sendiri yang jumlahnya mungkin cuma beberapa ratus gambar, lalu kalau hasilnya masih kurang, mencairkan beberapa lapisan atas dan melatihnya lagi dengan laju belajar yang jauh lebih kecil.

Itulah fine-tuning, dan urutannya penting. Laju belajar besar pada lapisan terlatih akan menghapus apa yang sudah diketahui model, dan Anda kembali ke titik nol tanpa sadar. Di kelas ini tahap tersebut biasanya jatuh di sesi kesepuluh ke atas, saat peserta sudah memegang data sendiri dan sudah pernah melihat modelnya gagal dengan cara yang bisa dijelaskan.

Perkakas dan laptop yang diperiksa sebelum sesi pertama

Dua kerangka kerja menguasai bidang ini: PyTorch dan TensorFlow. Keduanya menulis jaringan dengan gagasan yang sama, jadi memahami satu membuat yang lain terbaca dalam beberapa jam. Edubia menanyakan lebih dulu kerangka mana yang dipakai di kampus atau di tempat Anda bekerja, lalu memilihkan tutor yang memang menulis kode di kerangka itu tiap hari. Notebook Jupyter dipakai sepanjang kelas karena kode, keluaran, grafik, dan catatan duduk dalam satu berkas yang bisa dibuka ulang di sesi berikutnya.

Sekarang bagian yang jarang dibicarakan terbuka: laptop. Kebanyakan laptop kerja di Surabaya tak punya kartu grafis yang sanggup melatih jaringan besar, dan hal itu tidak menghalangi Anda untuk mulai. Google Colab menjalankan notebook di peramban dengan kartu grafis pinjaman, tersedia tanpa biaya pada tingkat dasarnya, dan itulah jalur yang dipakai hampir semua peserta kami di tiga bulan pertama.

Latihan yang berat dijalankan di sana, sementara laptop Anda cukup untuk menulis kode, membaca kurva, dan menyiapkan data. Tutor memeriksa spesifikasi perangkat Anda di sesi perkenalan: kapasitas memori, ruang penyimpanan, dan kecepatan sambungan internet di alamat tempat sesi berlangsung. Kalau perangkatnya menuntut jalan lain, urutan materi disusun ulang sebelum sesi kedua, sehingga tak ada waktu terbuang menunggu latihan yang memang tak akan selesai.

Data yang dibereskan tutor sebelum model dilatih

Model hanya sebagus data yang diberikan kepadanya, dan sebagian besar waktu di proyek nyata habis di sini. Tiga persoalan berulang, dan ketiganya jarang memunculkan pesan galat apa pun di layar.

Pelabelan lebih dulu. Setiap contoh butuh jawaban benar yang ditulis manusia, dan label yang berbeda-beda antar pelabel membuat model bingung tanpa satu pun tanda muncul. Tutor mengajak Anda menulis aturan pelabelan yang tegas di awal, lalu memeriksa ulang segelintir contoh acak untuk melihat apakah aturan itu benar-benar dipakai.

Berikutnya kelas timpang. Kalau 95 dari 100 contoh berlabel normal, model yang selalu menjawab normal langsung mencatat akurasi 95 persen tanpa mempelajari apa pun. Penanganannya bisa berupa penimbangan kelas, penambahan contoh kelas minoritas, atau pemilihan metrik yang tak tertipu oleh sebaran semacam itu.

Yang ketiga kebocoran data, dan ini yang mahal. Kalau contoh yang sama, atau keterangan yang seharusnya belum diketahui, ikut masuk ke bagian latih dan bagian uji sekaligus, angka uji jadi indah dan tak berarti apa-apa. Bentuk halusnya: penskalaan dihitung dari seluruh data sebelum dipisah, atau beberapa potongan berasal dari satu rekaman yang sama. Tutor menelusuri jalur data Anda dari berkas mentah sampai batch terakhir untuk mencarinya.

Evaluasi model di kelas deep learning Edubia

Akurasi terlihat seperti angka yang jujur, padahal ia menyesatkan begitu kelasnya timpang. Karena itu evaluasi di kelas ini selalu dimulai dari matriks kebingungan: tabel kecil yang memisahkan tebakan benar dan tebakan salah menurut kelasnya, sehingga terlihat persis kesalahan jenis apa yang dilakukan model.

Dari tabel itu lahir dua angka yang menjawab dua pertanyaan berbeda. Presisi menjawab: dari semua yang ditandai model sebagai positif, berapa yang memang positif. Recall menjawab: dari semua yang sebenarnya positif, berapa yang berhasil ditangkap model. Keduanya tarik-menarik. Menaikkan ambang keputusan membuat presisi naik dan recall turun; menurunkan ambang membuat kebalikannya. F1 menggabungkan keduanya menjadi satu bilangan lewat rerata harmonik, berguna saat Anda perlu satu angka pembanding antar percobaan.

Yang tutor tekankan: pilih metrik dari akibat kesalahannya, dan tuliskan alasan pemilihan itu di catatan proyek. Penyaring pesan masuk boleh lebih longgar karena satu pesan yang lolos hanya merepotkan sedikit. Model yang menandai kemungkinan kerusakan mesin produksi menuntut recall tinggi, sebab kasus yang terlewat jauh lebih mahal daripada peringatan palsu yang bisa diperiksa ulang manusia.

Batas model dan pemeriksaan manusia yang ditagih tutor

Jaringan saraf menghasilkan jawaban dengan nada yang sama untuk kasus yang dikuasainya dan untuk kasus yang sama sekali di luar jangkauannya. Ia tak punya cara memberi tahu Anda bahwa ia sedang menebak. Angka keyakinan yang ditampilkan softmax pun kerap terlalu tinggi, terutama pada data yang bentuknya berbeda dari data latih. Peserta yang baru pertama menerbitkan model biasanya terkejut di titik ini.

Bias adalah persoalan kedua, dan model mewarisinya dari data. Kalau data latih berisi keputusan masa lalu yang berat sebelah, model akan mengulanginya dengan rapi dan cepat, lalu membungkusnya dalam angka yang terlihat netral. Memeriksanya menuntut Anda memecah hasil menurut kelompok, lalu melihat apakah galatnya menumpuk di satu kelompok saja.

Karena itu tiap proyek yang keluar dari kelas ini menyertakan satu bagian yang membosankan tapi wajib: siapa yang memeriksa keluaran model, kapan pemeriksaan dilakukan, dan apa yang dikerjakan saat model salah. Tutor menagihnya sebelum proyek dianggap selesai. Peserta yang mengerjakan tugas akhir menemukan bagian itu justru mengangkat mutu penulisannya, sebab ia memaksa penulis menyatakan batas kerja modelnya dengan jujur.

Biaya les deep learning di Surabaya dan yang termasuk

Sesi les deep learning berdurasi 120 menit, dan panjang itu dipilih dengan alasan yang bisa Anda periksa sendiri. Satu putaran latihan pada data kecil saja menghabiskan beberapa menit, membaca kurvanya menuntut beberapa menit lagi, dan memperbaiki kode lalu menjalankannya ulang memakan sisanya. Sesi 60 menit habis sebelum satu percobaan tuntas, dan peserta pulang tanpa melihat akibat perubahan yang baru saja ia tulis.

Biaya mulai Rp298.100 per sesi untuk ritme delapan sesi sebulan dengan tutor datang ke alamat Anda di Surabaya, dan angka itu sudah menanggung perjalanan tutor. Peserta yang memilih ritme empat sesi sebulan dengan panjang sesi yang sama berada di kisaran Rp374.600 per sesi. Sesi daring lebih ringan karena komponen perjalanan hilang. Kalau Anda memilih belajar di co-learning space partner, ada tambahan Rp15.000 per sesi untuk pemakaian ruang.

Yang termasuk di dalamnya: notebook latihan yang disusun tutor untuk kasus Anda sendiri, catatan singkat tiap sesi, dan pemeriksaan kode di luar jam sesi lewat pesan saat latihan panjang Anda berjalan sendiri di Colab. Nominalnya disepakati sebelum sesi pertama dan tidak berubah di tengah paket berjalan.

Jadwal sesi les yang mengikuti jam kerja dan kuliah

Hampir semua peserta kelas ini punya kesibukan lain di siang hari. Sesi deep learning karena itu umumnya jatuh pukul 19.00 ke atas pada hari kerja, atau pagi sampai sore di akhir pekan. Tim penjadwalan mencocokkan tutor yang jam luangnya bertemu dengan jam luang Anda, dan pola itu dikunci untuk beberapa pekan supaya latihan panjang bisa direncanakan di antara dua pertemuan.

Bentuk sesinya sendiri menyesuaikan bahan yang dibahas. Saat yang diperiksa adalah kode dan kurva latih, berbagi layar sering lebih tajam daripada duduk berdampingan menatap satu monitor, jadi sebagian peserta memilih sesi daring meski tinggal di Gubeng atau Wonokromo. Saat yang dibahas rancangan data dan alur proyek, tatap muka di rumah, kos, atau kafe biasanya terasa lebih enak. Tutor Edubia menjangkau seluruh kecamatan Kota Surabaya, dari Rungkut dan Tenggilis Mejoyo di sisi timur sampai Lakarsantri dan Pakal di sisi barat, ditambah wilayah Sidoarjo seperti Waru, Gedangan, dan Buduran.

Kalau cara mengajar tutor belum cocok, misalnya ia menulis kode di kerangka yang berbeda dari yang Anda pakai di kampus, sampaikan kepada tim kami dan tutor diganti tanpa biaya tambahan. Latihan yang berjalan berjam-jam juga tak perlu ditunggu di dalam sesi: jadwalnya disetel supaya waktu bersama dipakai membaca hasil dan memperbaiki, sementara latihan panjang berjalan sendiri di sela dua pertemuan.

Urutan di bawah dijalankan dari langkah pertama tiap kali sebuah model berperilaku aneh, tanpa melompat. Melompat ke langkah keempat lebih dulu adalah kebiasaan yang membuat peserta memperbaiki hal yang tidak rusak.