Bosen kan, lihat model AI yang pinter banget di satu hal, tapi begitu diajarin hal baru, malah lupa sama yang lama? Ibarat anak kuliahan yang jago ngoding, tapi pas disuruh masak mie instan, malah gosong. Nah, ini dia masalahnya, concept forgetting dalam dunia foundation models. Untungnya, ada solusi baru yang lebih cerdas dari sekadar ngasih contekan terus-terusan.
Kenapa Model AI Jadi Pelupa? (Dan Apa Hubungannya Dengan Makanan?)
Bayangkan foundation models itu seperti koki andal yang sudah hafal resep rendang. Dia dilatih dengan ribuan gambar dan teks, sehingga tahu persis apa itu rendang, bagaimana cara membuatnya, dan bagaimana rasanya. Masalahnya muncul saat kita minta dia belajar resep sushi. Fine-tuning untuk sushi bisa bikin dia lupa beberapa detail penting tentang rendang. Konsep rendang jadi kabur, dan rasa rendangnya mungkin jadi aneh.
Fine-tuning, proses menyesuaikan model yang sudah dilatih sebelumnya untuk tugas spesifik, sering kali menjadi penyebabnya. Walaupun fine-tuning membuat model lebih ahli dalam tugas baru, ia juga bisa merusak pengetahuan yang sudah ada. Ibaratnya, fokus belajar matematika sampai lupa caranya membaca.
Solusi yang ada selama ini biasanya berusaha mempertahankan pengetahuan lama dengan mencocokkan bobot model sebelum dan sesudah fine-tuning. Mirip kayak ngasih contekan terus-terusan. Tapi, cara ini terlalu kaku dan kurang fleksibel.
Proxy-FDA: Regulasi Cerdas Anti-Pelupa
Di sinilah Proxy-FDA (Feature Distribution Alignment) hadir sebagai pahlawan tanpa tanda jasa. Proxy-FDA itu bukan sekadar contekan, tapi lebih ke guru privat yang cerdas. Dia membantu model untuk mempertahankan structural knowledge di feature space tanpa mengganggu kemampuan belajarnya.
Feature space itu ibarat perpustakaan besar berisi informasi tentang setiap konsep. Setiap konsep (misalnya, rendang) punya rak buku sendiri dengan informasi yang terstruktur. Proxy-FDA memastikan bahwa struktur perpustakaan ini tetap rapi dan konsisten, bahkan setelah model belajar resep sushi.
Proxy-FDA bekerja dengan cara menyelaraskan distribusi fitur antara model yang sudah dilatih sebelumnya dengan model yang sudah di-fine-tune. Ia menggunakan nearest neighbor graphs untuk memahami bagaimana fitur-fitur saling berhubungan. Ini seperti memahami bagaimana bumbu-bumbu dalam rendang saling berinteraksi untuk menciptakan rasa yang unik.
Proxy: Tamu Tak Diundang yang Justru Membawa Berkah
Yang bikin Proxy-FDA makin keren adalah penggunaan proxies. Proxies ini adalah data sintetis yang diciptakan secara dinamis untuk meningkatkan diversifikasi data. Anggap saja proxies ini seperti teman yang mengajak koki kita untuk mencoba variasi rendang yang belum pernah dia coba sebelumnya, misalnya rendang jengkol atau rendang jamur.
Dengan adanya proxies, model AI kita jadi lebih tahan terhadap perubahan dan lebih baik dalam mempertahankan pengetahuan yang sudah ada.
Bukti Nyata: Proxy-FDA Lebih Unggul!
Hasil eksperimen menunjukkan bahwa Proxy-FDA secara signifikan mengurangi concept forgetting selama fine-tuning. Model AI yang menggunakan Proxy-FDA lebih baik dalam mempertahankan pengetahuannya dibandingkan model yang menggunakan metode lain. Kita juga menemukan korelasi kuat antara forgetting dan jarak distribusi (dibandingkan dengan jarak L2).
Lebih lanjut, Proxy-FDA terbukti bermanfaat dalam berbagai pengaturan fine-tuning (end-to-end, few-shot, dan continual tuning) dan lintas berbagai tugas seperti klasifikasi gambar, captioning, dan VQA (Visual Question Answering). Intinya, Proxy-FDA itu versatile dan efektif.
Jarak Distribusi: Mengukur Seberapa Pelupa Model AI
Satu hal menarik yang kami temukan adalah pentingnya jarak distribusi dalam mengukur seberapa pelupa sebuah model AI. Jarak distribusi ini menggambarkan seberapa jauh struktur feature space berubah setelah fine-tuning. Semakin besar jaraknya, semakin besar pula kemungkinan model lupa. Mirip kayak semakin jauh kita dari kampung halaman, semakin besar kemungkinan kita lupa logat Sunda.
Implementasi Fleksibel: Cocok Untuk Segala Situasi
Keunggulan lain dari Proxy-FDA adalah fleksibilitasnya. Ia bisa diimplementasikan dalam berbagai skenario fine-tuning, mulai dari melatih model dari awal hingga melatih model secara berkelanjutan. Ini seperti punya resep rahasia yang bisa disesuaikan untuk berbagai jenis masakan.
- End-to-end fine-tuning: Melatih seluruh model dari awal dengan data baru.
- Few-shot fine-tuning: Melatih model dengan hanya sedikit data baru.
- Continual tuning: Melatih model secara berkelanjutan dengan data baru secara bertahap.
Dari Klasifikasi Gambar Hingga VQA: Proxy-FDA Bisa Apa Saja
Proxy-FDA tidak hanya jago dalam satu hal. Ia bisa digunakan untuk berbagai tugas, mulai dari mengklasifikasikan gambar hingga menjawab pertanyaan tentang gambar (VQA). Ini menunjukkan bahwa Proxy-FDA memiliki pemahaman yang mendalam tentang berbagai konsep visual.
Kesimpulan: Jangan Biarkan Model AI Jadi Pelupa!
Jadi, kalau kamu ingin melatih model AI yang cerdas dan tidak pelupa, Proxy-FDA adalah solusi yang tepat. Dengan Proxy-FDA, kamu bisa fine-tuning model tanpa khawatir kehilangan pengetahuan yang sudah ada. Ingat, model AI yang cerdas adalah model AI yang bisa belajar hal baru tanpa melupakan hal lama. Ibarat kata, don't put all your eggs in one basket, tapi jangan lupa juga cara bikin telur dadar.
