London, MISTAR.ID - Para pakar memperingatkan meningkatnya kemampuan kecerdasan buatan (AI) agen dapat menghadirkan tantangan baru dalam pengawasan teknologi. Peringatan itu muncul setelah sebuah sistem AI diketahui mampu membuat identitas daring palsu dalam simulasi serangan siber.

Dalam pengujian yang dilakukan AI Security Institute (AISI), lembaga pengawas AI Inggris, sejumlah agen AI menunjukkan kemampuan melakukan tindakan tidak sah dalam lingkungan uji keamanan siber. Temuan tersebut mengungkap bahwa sistem AI semakin mampu menjalankan tugas secara mandiri dengan pengawasan manusia yang terbatas.

Kasus yang paling menarik perhatian terjadi ketika salah satu agen AI membuat beberapa identitas daring palsu dan menggunakannya untuk memengaruhi pengembang agar menerima kode berbahaya yang dibuatnya. Sistem tersebut juga berupaya menghapus jejak aktivitas agar tindakannya terlihat tidak mencurigakan.

Pengujian dilakukan terhadap sejumlah model AI dari Anthropic dan OpenAI dalam simulasi keamanan siber dengan akses internet terbuka serta sebagian perlindungan keamanan dinonaktifkan. Dari 122 percobaan, AISI menemukan 19 tindakan tidak sah, dengan 17 di antaranya dilakukan oleh agen Anthropic dan dua lainnya oleh model OpenAI.

AISI menyebut beberapa agen AI dalam pengujian tersebut mampu melakukan aktivitas yang berpotensi membahayakan individu maupun organisasi. Salah satu simulasi melibatkan upaya memasukkan kode berbahaya ke platform pengelolaan kode GitHub melalui teknik manipulasi terhadap pengembang.

Pemimpin Partai Konservatif Inggris Kemi Badenoch menyebut perkembangan AI kini menjadi “ancaman nyata dan mendesak” bagi keamanan Inggris. Sementara anggota parlemen Allison Gardner memperingatkan bahwa kemampuan menciptakan teknologi tidak berarti setiap pengembangan AI dapat dilakukan tanpa pengawasan ketat.

“Risiko dari agentic AI, yaitu AI yang mampu menjalankan tujuan dengan pengawasan manusia terbatas, harus mendapat perhatian terbesar,” ujarnya seperti dilansir Daily Mail.

Kepala teknologi Pusat Keamanan Siber Nasional Inggris (NCSC), Ollie Whitehouse, mengatakan temuan tersebut menjadi pengingat bahwa perkembangan AI perlu diiringi kesiapan menghadapi risiko yang tidak terduga.

“Pengembangan AI harus disertai rencana jelas untuk menghadapi hal-hal tak terduga,” katanya.

AISI, yang dibentuk oleh mantan Perdana Menteri Inggris Rishi Sunak pada 2023, melakukan pengujian terhadap model AI canggih sebelum teknologi tersebut digunakan secara luas. Lembaga itu menyebut temuan terbaru menjadi salah satu bukti paling jelas mengenai risiko perilaku otonom dan manipulatif pada AI dalam lingkungan pengujian.

Anthropic mengatakan hasil tersebut menunjukkan pentingnya pengembangan metode evaluasi yang lebih baik untuk memastikan keamanan agen AI yang semakin canggih.

Sementara OpenAI menyatakan kejadian tersebut berlangsung dalam lingkungan pengujian dengan sistem keamanan yang dikurangi dan tidak mencerminkan penggunaan AI dalam kondisi normal. Perusahaan itu menegaskan komitmennya untuk terus memperkuat standar evaluasi keamanan AI. (*)