LLM Generasi Baru: Kecerdasan Buatan Hemat Energi Terinspirasi Otak Manusia?

Bayangkan begini: otak manusia, yang konon katanya super canggih itu, cuma butuh daya 20 watt buat mikir yang berat-berat. Sementara, Large Language Model (LLM) alias AI canggih, buat sekadar ngetik atau jawab pertanyaan, butuh daya kayak satu komplek perumahan. Kan, nggak lucu. Kayak minum es teh di tengah gurun Sahara: nggak efisien!

Nah, di tengah kegelisahan ini, muncul secercah harapan: NSLLM. Bukan, ini bukan nama band metal, tapi singkatan dari Neuromorphic Spike-Based Large Language Model. Intinya, ini adalah upaya para ilmuwan untuk menjembatani kesenjangan antara kecerdasan buatan (AI) dan cara kerja otak manusia. Pertanyaannya, emang bisa?

LLM, yang lagi hype banget di dunia teknologi, memang punya potensi besar untuk jadi fondasi peradaban digital. Tapi, ada dua masalah utama yang menghantui: boros energi dan susah diinterpretasi. Kita nggak tahu persis gimana caranya AI ini mikir dan ngambil keputusan. Jadi, agak ngeri juga kalau AI disuruh ngurusin hal-hal penting kayak kesehatan atau keuangan.

Otak manusia, di sisi lain, lebih transparan dan hemat energi. Kita tahu (kurang lebih) gimana neuron-neuron di otak saling berkomunikasi dan menghasilkan pikiran. Jadi, kenapa nggak kita coba tiru aja cara kerja otak buat bikin AI yang lebih baik?

NSLLM: Kawin Silang AI dan Neuroscience?

Di sinilah NSLLM hadir sebagai solusi. Framework ini mengubah LLM konvensional jadi NSLLM dengan melakukan penghitungan spike integer dan konversi spike biner. Nggak usah pusing mikirin istilah teknisnya. Anggap aja ini kayak kawin silang antara AI dan neuroscience. Tujuannya, biar kita bisa pakai alat-alat neuroscience untuk menganalisis cara AI memproses informasi.

Dengan memperkenalkan pelatihan integer dan inferensi biner, output dari LLM standar diubah jadi representasi spike. Ini memungkinkan para ilmuwan untuk menganalisis proses informasi dalam AI menggunakan teknik-teknik yang biasa dipakai untuk mempelajari otak manusia. Keren, kan?

Tapi, ide keren aja nggak cukup. Harus ada bukti nyata kalau NSLLM ini beneran lebih hemat energi dan lebih mudah diinterpretasi. Jadi, para peneliti ini bikin arsitektur komputasi khusus tanpa MatMul (Matrix Multiplication) buat model skala miliaran parameter di platform FPGA (Field-Programmable Gate Array). Intinya, mereka bikin semacam “otak digital” yang dirancang khusus untuk NSLLM.

MatMul-Free: Bye-Bye Matematika Ribet!

Untuk menguji efisiensi energi NSLLM, mereka menerapkan strategi kuantisasi layer-wise dan metrik sensitivitas hierarkis. Ini kayak ngasih nilai ke setiap bagian dari model AI, buat ngukur seberapa penting bagian itu dalam menghasilkan output yang akurat. Hasilnya, mereka berhasil mengkonfigurasi model spike campuran yang optimal dengan kuantisasi bit rendah.

Nggak cuma itu, mereka juga memperkenalkan strategi sparsifikasi berbantuan kuantisasi. Ini kayak ngerapihin isi kulkas biar nggak penuh sesak. Caranya, mereka mengubah distribusi potensial membran dan menggeser probabilitas pemetaan kuantisasi ke nilai integer yang lebih rendah. Hasilnya, tingkat pembakaran spike berkurang drastis, dan efisiensi model meningkat pesat.

Di FPGA VCK190, mereka merancang hardware core tanpa MatMul yang sepenuhnya menghilangkan operasi perkalian matriks di NSLLM. Ini kayak ngilangin satu menu yang paling bikin ribet di restoran. Hasilnya, konsumsi daya dinamis turun jadi 13.849 W, dan throughput meningkat jadi 161.8 token/s. Dibandingkan dengan GPU A800, pendekatan ini mencapai efisiensi energi 19.8× lebih tinggi, penghematan memori 21.3×, dan throughput inferensi 2.2× lebih tinggi.

Interpretasi ala Sinyal Otak?

Dengan mengubah perilaku LLM jadi representasi dinamis saraf (seperti rangkaian spike) melalui framework NSLLM, kita bisa menganalisis properti dinamis neuron (misalnya, randomness yang diukur dengan entropi Kolmogorov–Sinai) dan karakteristik pemrosesan informasi (misalnya, entropi Shannon dan informasi timbal balik). Ini memungkinkan interpretasi yang lebih jelas tentang peran komputasi yang dimainkan oleh NSLLM.

Hasil eksperimen menunjukkan bahwa model ini mengkodekan informasi lebih efektif saat memproses teks yang nggak ambigu. Ini kayak lagi ngobrol sama orang yang jelas ngomongnya, nggak belibet. NSLLM jadi lebih gampang ngebedain antara input yang ambigu dan yang nggak ambigu. Misalnya, layer tengah menunjukkan informasi timbal balik yang lebih tinggi untuk kalimat ambigu; layer AS menunjukkan tanda dinamis yang berbeda yang mencerminkan perannya dalam pemrosesan informasi yang jarang; dan layer FS memiliki entropi Shannon yang lebih tinggi, menunjukkan kapasitas transmisi informasi yang lebih kuat.

Selain itu, korelasi positif antara informasi timbal balik dan entropi Shannon menunjukkan bahwa layer dengan kapasitas informasi yang lebih tinggi lebih baik dalam mempertahankan fitur input utama. Dengan mengintegrasikan dinamika saraf dengan ukuran teoritis informasi, framework ini memberikan interpretasi yang terinspirasi secara biologis untuk mekanisme LLM sambil mengurangi kebutuhan data secara signifikan.

Intinya, NSLLM ini memungkinkan kita buat “ngintip” ke dalam otak AI dan lihat gimana dia mikir. Ini penting banget buat memastikan AI bisa dipercaya dan nggak bias dalam mengambil keputusan.

Masa Depan AI: Lebih Hemat, Lebih Pintar

Penelitian neuroscience telah menunjukkan bahwa otak manusia mencapai pemrosesan informasi yang hemat energi melalui komputasi yang jarang dan berbasis peristiwa, meningkatkan efisiensi komunikasi dan interpretasi sistem. Berdasarkan prinsip ini, tim peneliti mengembangkan framework terpadu interdisipliner yang memperkenalkan alternatif neuromorphic untuk LLM tradisional, sambil memberikan kinerja yang setara dengan model mainstream dengan skala serupa di seluruh penalaran akal sehat dan berbagai tugas model besar yang lebih kompleks (termasuk pemahaman bacaan, menjawab pertanyaan pengetahuan dunia, dan matematika).

Framework ini nggak cuma memajukan batas AI yang hemat energi, tapi juga menawarkan perspektif baru tentang interpretasi model bahasa besar dan memberikan wawasan berharga untuk desain chip neuromorphic masa depan. Jadi, bisa dibilang, NSLLM ini adalah langkah maju yang signifikan dalam pengembangan AI yang lebih baik dan lebih bertanggung jawab.

Mungkin, suatu saat nanti, kita nggak perlu lagi khawatir soal AI yang boros energi atau susah dipahami. Kita bisa punya AI yang cerdas, hemat, dan transparan, kayak otak manusia. Asal jangan sampai AI-nya malah jadi lebih pinter dari kita, ya. Bisa-bisa kita malah jadi asisten pribadinya!