Risiko Eksfiltrasi Data

Salah satu pelajaran penting dari pengujian agen AI adalah bahwa daftar domain yang diizinkan tidak selalu cukup untuk mencegah kebocoran data.

Jika agen diizinkan berkomunikasi dengan sebuah domain tertentu, kemampuan tersebut dapat disalahgunakan untuk mengirim data melalui layanan yang sebenarnya sah.

Dengan demikian, sistem keamanan tidak cukup hanya memeriksa tujuan koneksi. Sistem juga perlu mempertimbangkan tindakan apa yang dapat dilakukan melalui koneksi tersebut.

Pendekatan ini menempatkan kontrol jaringan, hak akses file, kredensial terbatas, serta pembatasan kemampuan alat sebagai bagian penting dari pertahanan.

Pemerintah AS Ikut Memperketat Pengawasan

Rangkaian insiden tersebut turut meningkatkan perhatian pemerintah Amerika Serikat terhadap keamanan AI. Gedung Putih telah melibatkan perusahaan-perusahaan AI besar, termasuk Meta, Anthropic, OpenAI, dan Google, dalam pembahasan mengenai kerangka pengujian keamanan siber sukarela untuk model AI canggih.

Sejumlah anggota parlemen AS juga mempertanyakan bagaimana sistem AI dapat keluar dari lingkungan pengujian dan mengakses sistem perusahaan lain. Mereka meminta penjelasan mengenai sistem pemantauan dan pengamanan yang digunakan pengembang.

Perkembangan ini menunjukkan bahwa persoalan keamanan agen AI tidak lagi hanya menjadi urusan perusahaan teknologi. Kemampuan agen untuk menjalankan kode, mengakses jaringan, dan mengambil tindakan secara mandiri mulai dipandang sebagai persoalan keamanan yang lebih luas.

Batas Kemampuan Harus Mengikuti Perkembangan AI

Pengembangan agen AI diperkirakan akan terus meningkatkan kemampuan sistem dalam menjalankan pekerjaan yang sebelumnya membutuhkan manusia atau bahkan sebuah tim.

Namun, semakin besar kemampuan dan akses agen, semakin besar pula potensi kerusakan jika terjadi kegagalan.

Karena itu, pengembang perlu membangun sistem dengan prinsip defense in depth, yakni menggunakan beberapa lapisan pertahanan yang saling melengkapi. Pengamanan pada model tetap penting, tetapi harus didukung sandbox, kontrol jaringan, pembatasan sistem file, pengelolaan kredensial, pemantauan aktivitas, serta pembatasan akses alat.

Pelajaran terpenting dari berbagai insiden tersebut adalah bahwa sistem AI tidak cukup hanya dibuat agar memiliki perilaku yang aman. Lingkungan tempat agen bekerja juga harus dirancang agar tetap aman ketika model melakukan kesalahan, disusupi, atau bertindak di luar dugaan.

Seiring kemampuan agen AI terus berkembang, batas antara perangkat lunak yang membantu manusia dan sistem yang dapat mengambil tindakan sendiri menjadi semakin tipis. Karena itu, membatasi apa yang dapat dijangkau agen menjadi salah satu kunci untuk menjaga manfaat AI tanpa membiarkan risiko berkembang tanpa kendali.

(Reuters/Anthropic/TheInformation/*/hm27)