Bayangkan sebuah simulasi medis di mana kecerdasan buatan, alih-alih menjadi penyelamat, malah mengantarkan ribuan orang ke ambang jurang administrasi yang tak perlu. Dunia klinis baru saja menyadari bahwa algoritma canggih yang dirancang untuk membantu, kini berpotensi memicu gelombang *over-triage* yang dramatis, membuat pintu ruang gawat darurat terbuka lebar bagi pasien yang sebenarnya tak perlu berada di sana. Pemicu utamanya? Bias demografis halus yang tertanam dalam data, yang membuat sistem AI cenderung “over-react” terhadap identitas-identitas tertentu, menyebabkan skrining kesehatan mental massal yang seringkali tidak berdasar pada detail medis yang tercharted. Angka-angkanya cukup mencengangkan: dengan rata-rata 50.000 kunjungan tahunan di sebuah departemen darurat, pola ini bisa berarti sekitar 1.200 rujukan tambahan ke layanan kesehatan mental dan 800 eskalasi penanganan yang sebenarnya tidak perlu setiap tahunnya. Situasi ini tidak hanya membebani alur kerja ruang gawat darurat, tetapi juga meningkatkan risiko paparan intervensi bernilai rendah atau bahkan berbahaya, sekaligus menanamkan stigma dan mengalihkan perhatian dari masalah medis utama pasien.
Inti masalahnya bukan hanya pada bias algoritma itu sendiri, tetapi juga pada kerapuhan sistem prompt yang digunakan. Dalam alur kerja standar, sebuah detail kecil yang keliru atau direkayasa dalam prompt dapat dengan mudah diserap dan dikembangkan oleh AI menjadi narasi yang meyakinkan atau rekomendasi terstruktur, tanpa adanya mekanisme pertahanan eksplisit. Risiko ini semakin nyata ketika pasien berinteraksi langsung dengan model seperti GPT-5, tanpa menyadari bahwa mereka mungkin memasukkan informasi yang tidak akurat atau menyesatkan, yang kemudian disebarluaskan oleh model tersebut. Meskipun *mitigation prompts* dapat mengurangi masalah ini secara signifikan, ia tidak sepenuhnya menghilangkan kerentanan.
Evaluasi komprehensif terhadap temuan ini mengindikasikan sebuah urgensi bagi para pemangku kepentingan dan pengembang. Mengingat model-model AI ini berpotensi cepat diadopsi dalam praktik klinis sehari-hari, investasi dalam penelitian tambahan dan implementasi langkah-langkah pengamanan yang lebih ketat dan inovatif mutlak diperlukan. Tantangannya adalah, model-model terbaru pun masih menunjukkan tren bias yang serupa. Penting untuk diakui bahwa variasi dalam penilaian klinis antar kelompok dapat dibenarkan, termasuk pertimbangan terhadap kesulitan sosial, etnis, demografis, dan ekonomi. Namun, ketika konten klinis tetap konstan, besaran dan konsistensi bias yang teramati menunjukkan bahwa pekerjaan lebih lanjut pada model masa depan sangat krusial untuk memastikan perbedaan dalam penanganan mencerminkan kebutuhan klinis aktual, bukan sekadar bias akibat demografi.
Risiko di Balik Layar Algoritma: Lebih dari Sekadar Kesalahan Data
Implikasi langsung dari temuan ini menyentuh ranah tata kelola Large Language Models (LLMs) di sektor kesehatan. Setiap pembaruan model yang mengubah distribusi output klinis seharusnya memicu evaluasi ulang pada tolok ukur standar yang telah ditetapkan. Mengingat para penyedia layanan kesehatan sering kali menerapkan perubahan *backend* tanpa pembaruan versi publik yang jelas, audit yang dipicu oleh kejadian (*event-triggered auditing*) menjadi pendekatan yang lebih relevan daripada peninjauan berbasis kalender.
Proses ini memerlukan pembangunan *pipeline* otomatis yang analog dengan siklus CI/CD (Continuous Integration/Continuous Deployment) dalam rekayasa perangkat lunak. Publikasi *pipeline* yang ada dapat berfungsi sebagai ilustrasi infrastruktur yang dapat digunakan kembali. Tanggung jawab harus dibagi secara adil. Para pengembang wajib mengungkapkan cakupan pembaruan dan menjalankan rangkaian pengujian keamanan internal mereka. Sementara itu, peneliti independen perlu mempertahankan tolok ukur tetap yang tidak dioptimalkan secara khusus oleh pengembang, demi menjaga objektivitas pengujian. Model yang spesifik untuk domain tertentu, seperti MedGemma, mungkin menunjukkan profil bias yang berbeda, namun proses *fine-tuning* tidak secara inheren menghilangkan variasi sosiodemografis. Pandangan yang dianut di sini adalah dorongan untuk pengawasan keamanan yang berkelanjutan dan terinstitusionalisasi untuk LLMs dalam perawatan kesehatan.
Meskipun *pipeline* yang digunakan dalam studi ini berfokus pada skenario ruang gawat darurat, titik-titik keputusan mendasar—seperti urgensi triase, intensitas pengujian, eskalasi penanganan, dan skrining kesehatan mental—juga umum ditemukan dalam alur kerja rawat jalan, termasuk praktik umum, klinik darurat, dan rujukan spesialis. Jika label sosiodemografis memengaruhi keputusan-keputusan ini bahkan di bawah konten ED yang terstandardisasi, pola serupa kemungkinan besar akan muncul di pengaturan rawat jalan, di mana LLMs semakin dieksplorasi untuk dukungan keputusan dan triase. Oleh karena itu, evaluasi khusus di lingkungan ini sangatlah dibutuhkan.
Ketika Pasien Menjadi Penulis Prompt: Potensi Bencana yang Tersembunyi
Lebih jauh lagi, studi ini menggunakan tugas yang berhadapan langsung dengan klinisi, dilengkapi dengan *prompt* terstruktur yang telah divalidasi oleh dokter. Dalam skenario yang melibatkan pasien secara langsung, *prompt* seringkali tidak terstruktur dan berpotensi mengandung detail yang tidak akurat. Jika variasi sosiodemografis dan kerentanan terhadap manipulasi muncul bahkan di bawah *prompt* klinis yang terkontrol, risikonya diperkirakan akan berlipat ganda ketika pasien menghasilkan *prompt* tanpa memiliki keahlian yang memadai untuk mengevaluasi output yang dihasilkan.
Studi di masa depan seyogianya mengevaluasi LLMs menggunakan *prompt* yang dihasilkan oleh pasien itu sendiri, melintasi berbagai profil sosiodemografis. Ini bukan sekadar latihan akademis; ini adalah langkah krusial untuk memahami bagaimana bias dan kerentanan berinteraksi dalam skenario dunia nyata yang paling rentan. Bayangkan skenario di mana seorang pasien yang sedang panik, dengan pemahaman medis terbatas, memasukkan serangkaian keluhan yang sebenarnya sepele, namun karena cara penyampaiannya, AI menganggapnya sebagai kondisi darurat medis. Atau sebaliknya, kondisi serius diabaikan karena ketidakmampuan pasien merangkai kata dengan cara yang “benar” di mata algoritma.
Pola yang teramati ini membuka jendela ke dalam potensi disrupsi yang lebih luas dalam sistem kesehatan. Bukan tidak mungkin, model AI yang direkayasa dengan niat baik justru memperburuk kesenjangan akses dan kualitas layanan, menciptakan dua jalur perawatan: satu untuk mereka yang “memahami” cara kerja AI dan satu lagi untuk yang tidak. Ini adalah tantangan etis dan teknis yang membutuhkan kolaborasi erat antara pengembang, regulator, praktisi medis, dan bahkan publik untuk memastikan teknologi ini benar-benar melayani kemanusiaan, bukan malah memperkuat prasangka yang ada.
