Pernah membayangkan bagaimana rasanya menyaksikan opera yang bukan hanya menghibur, tapi juga membuka mata dan menyentuh hati? Bukan sekadar diva dengan suara memukau, melainkan kolaborasi antara seni, teknologi, dan inklusivitas yang mengubah cara pandang kita tentang ekspresi artistik. Inilah cerita tentang inovasi yang memungkinkan semua orang, tanpa terkecuali, untuk bersinar di panggung opera.
Opera: Lebih dari Sekadar Nada Tinggi
Opera sering dianggap sebagai hiburan eksklusif, hanya dinikmati oleh kalangan tertentu. Padahal, esensi opera terletak pada kemampuannya menyampaikan cerita melalui musik dan drama. Tapi, bagaimana jika batasan fisik menghalangi seseorang untuk mengekspresikan dirinya? Di sinilah teknologi berperan, menjembatani kesenjangan dan membuka pintu bagi bakat-bakat tersembunyi.
Dari Disabilitas Menuju Disabilitas…Eits, Maksudnya Inovasi!
Bayangkan membuat opera tentang seorang ibu dan anaknya yang non-verbal dan non-ambulatory. Lalu, bayangkan semua pemainnya mayoritas penyandang disabilitas, dengan keterbatasan bicara. Butuh apa? Lebih dari sekadar dedikasi, waktu, dan dana. Dibutuhkan visi, kreativitas, dukungan filantropis, dan tentu saja, inovasi. Prosesnya pun tidak main-main, memakan waktu tujuh tahun.
"Sensorium Ex", sebuah opera yang diprakarsai oleh Brenda Shaughnessy dan Paola Prestini, serta disutradarai oleh Jerron Herman dan Jay Scheib, adalah buktinya. Dipentaskan perdana di Omaha, Nebraska pada Mei 2025, opera ini memadukan 3D sensing, Artificial Intelligence (AI), solusi disabilitas, dan talenta operatik untuk menciptakan pertunjukan yang revolusioner. Jangan salah paham, ini bukan sekadar drama musikal dengan sentuhan teknologi, tapi lompatan kuantum dalam dunia seni pertunjukan.
Di Balik Layar: Para "Penyihir" Teknologi
Di balik gemerlap panggung, ada sosok-sosok jenius yang meramu teknologi canggih untuk mewujudkan mimpi inklusi ini. Salah satunya adalah Dr. Luke Dubois dari NYU Tandon School of Engineering. Beliau adalah Associate Professor di Integrated Design & Media (IDM) dan Co-Director dari Ability Project. Laboratoriumnya di NYU Tandon lebih mirip studio musik legendaris, tempat Pink Floyd atau Led Zeppelin bisa saja nongkrong sambil bikin lagu.
Dr. Dubois bersama timnya mengembangkan solusi yang memungkinkan seniman dengan keterbatasan bicara untuk tampil di opera. Idenya? Menggunakan AI untuk mempersonalisasi suara dan memodulasinya melalui gerakan tangan. Kedengarannya seperti mission impossible, tapi justru di situlah letak keajaibannya.
AI dan Gerakan Tangan: Duet Maut untuk Ekspresi
Awalnya, speech synthesizer yang diciptakan Ray Kurzweil tahun 1975 memang membantu orang dengan gangguan penglihatan. Namun, suara yang dihasilkan cenderung robotik. Masalahnya, opera butuh nuansa, emosi, dan personalisasi. Dr. Dubois kemudian berkolaborasi dengan "Sensorium Ex" untuk mengembangkan teknologi yang lebih canggih.
Tim Dr. Dubois menggunakan AI untuk "mendengarkan" suara seseorang dan mempelajari frekuensinya, sehingga menghasilkan suara yang lebih alami. Selanjutnya, mereka menggunakan sensor Time of Flight (ToF) untuk mendeteksi gerakan tangan dan mengubahnya menjadi modulasi suara. Dengan begitu, seniman dapat menambahkan emosi, tempo, dan penekanan pada suara mereka secara real-time.
Proses personalisasi suara melibatkan neural vocoder dan speech editing software seperti ProMoNet. Prof. Mark Cartwright dari NJIT menggunakan alat ini untuk menyuntikkan karakteristik suara individu ke dalam suara robotik yang dihasilkan oleh ProMoNet. Hasilnya? Suara yang lebih manusiawi dan personal.
Ther’minator: Alat Ajaib dari Brooklyn
Untuk mewujudkan modulasi suara melalui gerakan tangan, tim Dr. Dubois menggandeng Eric Singer, seorang musician/engineer/entrepreneur dari Brooklyn. Eric menciptakan Ther'minator, sebuah alat yang mengubah sinyal LiDAR (Light Detection and Ranging) menjadi tegangan modular.
Ther'minator menggunakan sensor Time of Flight (ToF) dari STMicro. Sensor ini terdiri dari SPADs (Single Photon Avalanche Detectors) dan VCSELs (Vertical Cavity Surface Emitting Laser), yang terintegrasi dengan filter optik dan elektronik pembaca. Dengan tiga unit Ther'minator yang terhubung ke komputer, gerakan tangan pemain dapat diubah menjadi sinyal yang mengontrol berbagai aspek suara mereka.
Impact on Opera in the Future: Omaha dan Setelahnya
Pertunjukan perdana "Sensorium Ex" di Omaha berlangsung sukses. Sekitar 150-200 penonton hadir di setiap pertunjukan, dengan tata letak tempat duduk yang disesuaikan untuk mengakomodasi berbagai kondisi disabilitas. Paola Prestini, komposer "Sensorium Ex", menekankan bahwa kualitas produksi dan keunggulan pertunjukan adalah kunci kesuksesan.
Prestini berharap bahwa "Sensorium Ex" akan menjadi standar bagi produksi opera inklusif di masa depan. Dengan membuat semua teknologinya open-source, ia berharap dapat menciptakan lingkungan yang sempurna untuk pertunjukan seni yang inklusif secara global.
Beyond Opera: Masa Depan Inklusi
Inovasi yang diterapkan dalam "Sensorium Ex" memiliki potensi yang jauh lebih besar daripada sekadar pertunjukan opera. Teknologi ini dapat diterapkan dalam berbagai bidang, seperti terapi fisik, rehabilitasi, dan peningkatan kualitas hidup bagi penyandang disabilitas.
Teknologi seperti LiDAR, kamera berbasis kejadian (event-based cameras), dan smart glasses dapat digunakan untuk melacak gerakan tubuh dan mata dengan presisi tinggi. Data ini kemudian dapat diolah untuk mengontrol berbagai perangkat dan membantu penyandang disabilitas berkomunikasi, bergerak, dan berinteraksi dengan dunia di sekitar mereka.
Teknologi untuk Kemanusiaan: Lebih dari Sekadar Alat
"Sensorium Ex" adalah bukti bahwa teknologi bukan hanya tentang gadget dan aplikasi. Teknologi dapat menjadi alat untuk memajukan kemanusiaan, menjembatani kesenjangan, dan memberdayakan semua orang untuk mengekspresikan diri. Dengan menggabungkan seni, teknologi, dan inklusi, kita dapat menciptakan dunia yang lebih adil dan bermakna bagi semua.
Jadi, tunggu apa lagi? Mari kita dukung inovasi-inovasi seperti ini dan membuka pintu bagi bakat-bakat tersembunyi. Siapa tahu, suatu saat nanti kita bisa menyaksikan Phantom of the Opera dengan bintang utama yang menggunakan Ther'minator untuk bernyanyi!
Intinya, "Sensorium Ex" bukan sekadar opera, tapi manifesto tentang potensi teknologi dalam mewujudkan inklusi dan memberdayakan semua orang untuk bersinar.
