Bayangkan, otak kita ini kayak RAM komputer jadul. Dikasih pertanyaan kompleks, langsung hang. Tapi tenang, ilmuwan-ilmuwan ini nggak tinggal diam. Mereka lagi ngoprek cara biar otak digital kita ini, eh, maksudnya komputer, bisa mikir kayak Sherlock Holmes, tapi nggak perlu pakai kokain.
Visualisasi Data Biologis: Antara Rumit dan Membantu
Dunia biologi itu penuh dengan visualisasi yang bikin kepala nyut-nyutan. Grafik DNA yang kayak benang kusut, diagram sel yang mirip peta labirin, belum lagi tabel-tabel angka yang panjangnya kayak cicilan rumah. Nah, para peneliti ini mikir, “Gimana caranya biar komputer nggak ikut pusing lihat ginian?”
Primož Kocbek dari University of Maribor, Azra Frkatović-Hodžić dan Dora Lalić dari Genos Ltd, Vivian Hui dari The Hong Kong Polytechnic University, Gordan Lauc dari University of Zagreb dan Genos Ltd, dan Gregor Štiglic dari University of Maribor dan Usher Institute University of Edinburgh, mencoba menggabungkan teks dan gambar dalam teknik bernama multi-modal retrieval-augmented generation. Kedengarannya canggih, ya? Intinya sih, mereka mau bikin komputer bisa lihat gambar dan baca tulisan sekaligus, biar jawabannya lebih akurat.
Fokus penelitian mereka adalah glikobiologi. Jangan panik, ini bukan nama makanan. Glikobiologi itu ilmu yang mempelajari gula di dalam tubuh. Bayangin aja, gula itu kayak kode rahasia yang mengatur banyak hal di tubuh kita. Nah, kode ini seringkali divisualisasikan dalam bentuk gambar dan tabel yang rumit.
Konversi Visual Jadi Teks: Solusi untuk Model Kecil?
Hasilnya? Ternyata, buat model komputer yang otaknya masih kecil (baca: speknya nggak terlalu tinggi), lebih baik kalau gambar dan tabel itu diubah jadi teks dulu. Ibaratnya, kayak nyuapin bayi, makanannya harus dihalusin dulu biar nggak keselek. Tapi, buat model yang lebih canggih, mereka bisa langsung memproses visual tanpa perlu diubah jadi teks. Kayak orang dewasa, makan steak juga sikat!
ColFlor: Retriever Visual yang Efisien
Penelitian ini juga menemukan bahwa ColFlor adalah visual retriever yang efisien. Anggap aja ColFlor ini kayak anjing pelacak yang jago nyari gambar yang relevan. Bedanya, ColFlor nggak butuh tulang, tapi butuh listrik. Dengan adanya ColFlor, komputer bisa menjawab pertanyaan-pertanyaan biologi dengan lebih efektif dan akurat, tanpa perlu nguras dompet buat beli server mahal.
Integrasi Informasi Visual untuk Tanya Jawab Biomedis: Pentingkah?
Pertanyaannya sekarang, kenapa sih kita repot-repot ngurusin visualisasi data biologi ini? Ya, karena jawabannya nggak bisa cuma ditemukan di teks saja. Kadang, informasi penting itu tersembunyi di dalam grafik atau tabel yang rumit. Kalau komputer cuma bisa baca teks, ya sama aja kayak baca novel tanpa lihat ilustrasinya. Kurang seru!
Para peneliti ini lagi berusaha mencari tahu, mana yang lebih efektif: mengubah gambar jadi teks, atau langsung nyuruh komputer buat interpretasi gambar? Ibaratnya, kayak debat kusir antara tukang masak dan ahli gizi. Tukang masak bilang, “Yang penting enak!” Ahli gizi bilang, “Yang penting sehat!” Nah, di sini, kita mau cari tahu, mana yang paling efektif buat bikin komputer pintar.
Performa Model dan Biaya: Ada Harga yang Harus Dibayar
Tim peneliti ini nggak cuma ngoprek teknik, tapi juga ngitungin biaya. Mereka ngetes beberapa model komputer dengan ukuran otak yang berbeda-beda. Hasilnya, makin gede otak, makin akurat jawabannya. Tapi, ya makin boros juga listriknya. Ibaratnya, kayak beli mobil. Makin canggih mobilnya, makin mahal juga bensinnya.
Model yang paling hemat biaya, ya akurasinya nggak terlalu tinggi. Sementara, cara ngambil informasi (lewat teks atau visual) nggak terlalu ngaruh ke performa dan biaya, yang paling ngaruh ya ukuran otaknya. Jadi, kalau mau komputer pintar, ya harus siap-siap bayar mahal.
Glikobiologi RAG: Akurasi vs. Kompleksitas
Dalam domain glikobiologi yang penuh dengan visualisasi data, para peneliti ini bikin patokan (benchmark) pertanyaan pilihan ganda yang diambil dari jurnal ilmiah. Tingkat kesulitan pertanyaannya disesuaikan dengan kompleksitas bukti yang dibutuhkan. Mereka bandingin empat strategi: tanpa bantuan apa-apa, cuma pakai teks, konversi multi-modal, dan late-interaction visual retrieval pakai ColPali. Hasilnya, baik teks maupun multi-modal lebih unggul dari visual langsung, akurasinya setara dengan model Gemma-3-27B-IT.
Pakai model GPT-4o yang lebih canggih, multi-modal bahkan lebih akurat lagi, disusul oleh teks dan ColPali. Tes lebih lanjut pakai model GPT-5 menunjukkan peningkatan lebih lanjut, dengan ColPali dan ColFlor mencapai akurasi tertinggi. Hebatnya lagi, ColPali, ColQwen, dan ColFlor punya performa yang sama, tapi ColFlor lebih irit sumber daya. Ini nunjukkin bahwa konversi visual ke teks lebih cocok buat model menengah, sementara visual langsung baru bisa bersaing kalau dipasangin sama model yang paling canggih.
Retrieval Visual: Booster untuk Model Bahasa Besar
Intinya, penelitian ini nemuin bahwa ada hubungan erat antara kemampuan model dan strategi pengambilan informasi yang paling optimal. Buat model yang otaknya masih kecil, lebih baik kalau gambarnya diubah jadi teks dulu. Tapi, buat model yang udah gede, mereka bisa langsung ngolah gambar tanpa perlu diubah jadi teks. ColFlor juga jadi jagoan karena performanya setara dengan opsi yang lebih boros sumber daya.
Kesimpulan: Kapasitas-Aware Design itu Kunci!
Jadi, kalau mau bikin sistem multi-modal yang efektif, kita harus pinter-pinter milih strategi yang sesuai dengan kemampuan modelnya. Ibaratnya, kayak milih baju. Kalau badannya kecil, ya jangan pakai baju yang kegedean. Kalau badannya gede, ya jangan pakai baju yang kekecilan. Biar pas dan nyaman dipakainya. Begitu juga dengan komputer, biar kerjanya optimal dan nggak bikin dompet bolong.
