Sandbox dan Isolasi Jadi Pertahanan Utama

Salah satu pendekatan penting adalah membatasi lingkungan tempat agen dapat bekerja.

Sandbox, mesin virtual (VM), pembatasan sistem file, serta kontrol lalu lintas keluar dapat digunakan untuk menentukan apa yang boleh dan tidak boleh dijangkau agen.

Prinsipnya sederhana: apabila kredensial atau data sensitif tidak pernah masuk ke lingkungan agen, maka data tersebut akan jauh lebih sulit dicuri meskipun model melakukan kesalahan atau berhasil dimanipulasi.

Pendekatan tersebut juga memungkinkan sebagian tugas dijalankan tanpa pengawasan manusia secara terus-menerus. Namun, kekuatan isolasi harus disesuaikan dengan tingkat kemampuan pengguna dalam mengawasi agen.

Pengembang yang memahami perintah sistem memiliki kemampuan berbeda dengan pengguna umum yang tidak memahami konsekuensi sebuah perintah. Karena itu, strategi keamanan yang sama tidak selalu cocok untuk setiap jenis pengguna.

Pengawasan Manusia Tidak Selalu Cukup

Pada awalnya, meminta persetujuan pengguna untuk setiap tindakan agen dianggap sebagai lapisan pengamanan yang efektif. Namun, terlalu banyak permintaan persetujuan dapat menimbulkan approval fatigue atau kelelahan persetujuan.

Ketika pengguna terus-menerus menerima permintaan izin, perhatian terhadap setiap permintaan dapat menurun. Akibatnya, pengawasan yang semula dirancang sebagai perlindungan justru berpotensi menjadi titik lemah.

Anthropic mencatat bahwa penggunaan sandbox dapat mengurangi ketergantungan pada persetujuan manusia. Dalam arsitektur agen, pembatasan deterministik pada lingkungan dianggap penting karena pertahanan berbasis model tidak mungkin memberikan jaminan 100 persen.

Konten yang Dibaca Agen Juga Bisa Menjadi Ancaman

Masalah keamanan tidak hanya berasal dari tindakan yang dilakukan agen, tetapi juga dari informasi yang dibacanya.

Server MCP, plugin pihak ketiga, konektor cloud, repositori kode, dan hasil pencarian web dapat memasukkan konten dari sumber yang tidak sepenuhnya dikendalikan pengembang.

Sebuah alat yang aman secara tradisional belum tentu aman ketika digunakan oleh agen AI. Konten yang tampak seperti informasi biasa dapat mengandung instruksi tersembunyi yang memengaruhi perilaku agen.

Karena itu, keluaran alat juga perlu diperiksa sebelum diteruskan ke konteks model. Pembatasan hak akses secara terperinci dapat membantu mengurangi dampak jika salah satu komponen berhasil disusupi.