London, MISTAR.ID – Teknologi antarmuka otak-komputer atau Brain-Computer Interface (BCI) terus dikembangkan untuk membantu orang dengan kelumpuhan parah berkomunikasi. Terbaru, para peneliti mengembangkan sistem yang mampu menerjemahkan ucapan dan gerakan dari sinyal otak secara bersamaan.

Selama ini, BCI telah dikembangkan untuk membaca aktivitas saraf dan menerjemahkan maksud pengguna menjadi teks atau perintah untuk mengendalikan perangkat tertentu. Namun, komunikasi manusia tidak hanya mengandalkan kata-kata, melainkan juga melibatkan berbagai gerakan dan isyarat.

Peneliti dari University of California, San Francisco (UCSF) bersama sejumlah peneliti lainnya mengembangkan sistem yang dapat menangkap kedua bentuk komunikasi tersebut secara bersamaan.

Teknologi ini memanfaatkan jaringan elektroda elektrokortikografi (ECoG) beresolusi tinggi yang ditempatkan pada permukaan otak, tepatnya di area korteks motorik yang berkaitan dengan kemampuan berbicara dan menggerakkan tubuh.

Sinyal listrik dari otak kemudian diproses menggunakan dua dekoder berbasis kecerdasan buatan (AI) yang bekerja secara bersamaan. Salah satu sistem menerjemahkan aktivitas yang berkaitan dengan ucapan, sedangkan sistem lainnya mengenali gerakan.

Hasil pemrosesan tersebut kemudian ditampilkan dalam bentuk teks dan gerakan pada avatar digital seluruh tubuh yang dibuat menyerupai peserta penelitian.

Menariknya, pengguna tidak harus benar-benar mampu menggerakkan anggota tubuhnya. Sistem dapat membaca sinyal saraf yang muncul ketika peserta mencoba melakukan suatu gerakan atau membayangkan gerakan tersebut.

Dalam pengujian, para peneliti melibatkan dua orang dengan kelumpuhan parah. Keduanya terhubung dengan avatar digital seluruh tubuh yang telah dipersonalisasi.

Ketika peserta mencoba mengucapkan sebuah kalimat, sistem menerjemahkan aktivitas otaknya menjadi teks. Pada saat yang sama, jika peserta mencoba melakukan gerakan tertentu, avatar juga dapat menampilkan gerakan tersebut.

Para peneliti menggunakan 253 elektroda ECoG yang ditempatkan pada korteks motorik. Jaringan tersebut menangkap aktivitas saraf yang berkaitan dengan gerakan tangan dan lengan, kepala dan mata, serta aktivitas bicara dan mulut.

Dalam pengujian percakapan, salah satu peserta mencapai tingkat akurasi rata-rata 85 persen dalam menerjemahkan isyarat dan 75 persen untuk ucapan. Sementara peserta lainnya mencapai akurasi median 100 persen untuk ucapan maupun isyarat dalam tiga sesi percakapan.

Meski hasil awalnya menjanjikan, penelitian tersebut masih memiliki sejumlah keterbatasan. Jumlah peserta masih sangat sedikit, sedangkan kosakata dan jenis gerakan yang dapat diterjemahkan juga terbatas. Dengan demikian, teknologi ini belum dapat dianggap sebagai sistem komunikasi yang siap digunakan secara luas di luar lingkungan penelitian.

Peneliti juga menemukan bahwa menerjemahkan ucapan dan gerakan secara bersamaan membutuhkan pendekatan khusus. Model AI yang hanya dilatih menggunakan data ucapan atau gerakan secara terpisah mengalami penurunan kinerja ketika peserta mencoba berbicara sambil melakukan gerakan.

Untuk mengatasi persoalan tersebut, tim peneliti menambahkan sesi pelatihan yang secara khusus menggabungkan ucapan dan gerakan dalam waktu bersamaan.

Pelatihan ini membantu sistem memahami perubahan aktivitas otak ketika beberapa kelompok otot dikendalikan secara bersamaan. Pendekatan tersebut juga dapat mengurangi risiko sistem keliru mengartikan sinyal yang berkaitan dengan ucapan maupun gerakan.

Temuan tersebut sejalan dengan cara kerja otak manusia. Area korteks serebral yang mengatur kemampuan berbicara dan pergerakan tubuh tidak sepenuhnya berdiri sendiri. Sejumlah area otak dapat aktif ketika seseorang melakukan kedua aktivitas tersebut secara bersamaan.

Penelitian ini menunjukkan potensi BCI untuk berkembang dari teknologi yang hanya memulihkan satu fungsi menjadi sistem yang dapat menerjemahkan beberapa unsur komunikasi manusia secara bersamaan.

Dengan kemampuan tersebut, avatar digital tidak hanya dapat menyampaikan ucapan pengguna, tetapi juga membantu menampilkan berbagai gerakan dan isyarat yang menjadi bagian penting dari komunikasi sehari-hari.