Perusahaan Kesulitan Mengendalikan Agen AI yang Semakin Otonom

Pengawasan Agen AI: Tantangan Baru dalam Operasi Bisnis Modern

Pengawasan agen AI menjadi masalah nyata bagi perusahaan di seluruh dunia. Semakin banyak perusahaan memberi wewenang kepada agen kecerdasan buatan (AI) untuk beroperasi di dalam sistem mereka.

Namun langkah ini sering lebih cepat daripada kemampuan membangun sistem pengawasan dan kontrol yang memadai.

Apa Itu Pengawasan Agen AI?

Pengawasan agen AI adalah kemampuan perusahaan untuk mengetahui agen mana yang aktif, data dan aplikasi apa yang mereka akses, tindakan apa yang mereka ambil, dan cara menghentikan mereka bila terjadi kesalahan.

Berbeda dari perangkat lunak biasa, agen AI dapat mengambil keputusan sendiri setelah diberi akses. Karena itu, mengawasinya butuh lebih dari sekadar daftar pengguna dan kata sandi.

Kesenjangan antara Adopsi dan Kontrol

Akibat adopsi yang terlalu cepat, banyak perusahaan kesulitan melacak apa yang dapat diakses agen AI, tindakan yang mereka ambil, dan cara menghentikan mereka.

Kesenjangan ini makin nyata saat perusahaan melampaui tahap eksperimen dan memasukkan agen AI ke operasi bisnis. Tantangannya bukan hanya menentukan batas wewenang agen, tetapi juga memahami agen mana yang aktif dan apa yang mereka akses.

Bahkan, sebagian perusahaan masih kesulitan membuat inventaris dasar agen AI yang mereka pakai.

Menurut laporan Computer Weekly, jumlah agen AI yang terus bertambah membuat aktivitasnya makin sulit dilacak. Riset IBM juga menyebut perusahaan sering gagal menjaga tata kelola dan akuntabilitas seiring berkembangnya kemampuan agen AI.

Identitas dan Akses: Solusi yang Belum Cukup

Salah satu solusi yang diusulkan adalah sistem identitas dan akses. InformationWeek melaporkan bahwa sistem ini membantu perusahaan mengetahui agen mana yang aktif dan identitas apa yang mereka pakai, tetapi belum cukup untuk memastikan tindakan agen sesuai kebijakan.

Sistem identitas tradisional dirancang untuk menentukan apakah pengguna atau aplikasi boleh masuk ke suatu sistem. Agen AI menambah lapisan baru, karena mereka bisa mengambil keputusan dan bertindak setelah akses diberikan.

Dengan agen yang makin otonom, perusahaan memerlukan visibilitas penuh atas aktivitas agen, serta kontrol yang bisa membatasi atau menghentikan tindakan yang tidak diinginkan.

Risiko Keamanan akibat Lemahnya Pengawasan Agen AI

Konsekuensi keamanan dari kurangnya pengawasan agen AI menjadi perhatian utama. Menurut laporan Workato, 36% pemimpin perusahaan lebih memilih menangani insiden keamanan yang melibatkan agen AI secara diam-diam daripada mengungkapkannya.

Ini menunjukkan banyak perusahaan mungkin sudah mengalami insiden terkait agen AI sebelum punya sistem pengawasan yang memadai.

Fase adopsi berikutnya kemungkinan akan bergantung pada kemampuan mengelola agen yang sudah ada, bukan sekadar menambah agen baru. Memberi wewenang kepada agen mungkin mudah, tetapi melacak dan mengendalikannya setelah beroperasi jauh lebih sulit.

Langkah Praktis Memperkuat Pengawasan Agen AI

Beberapa langkah dasar yang bisa dimulai perusahaan:

• Buat inventaris agen AI: catat setiap agen, pemiliknya, dan tujuannya.
• Batasi akses seminimal mungkin, sehingga agen hanya menyentuh data yang benar-benar dibutuhkan.
• Catat semua tindakan agen dalam log yang bisa diaudit.
• Siapkan cara menghentikan agen dengan cepat bila perilakunya menyimpang.
• Tetapkan penanggung jawab manusia untuk setiap agen.

Langkah ini tidak menuntut teknologi baru. Yang dibutuhkan adalah disiplin dan kejelasan peran sebelum agen ditambah.

Perkembangan AI Lain yang Perlu Dicatat

Di tengah tantangan ini, ada beberapa perkembangan AI yang juga patut diperhatikan. Ketegangan geopolitik antara AS dan Cina memengaruhi produksi robot humanoid. Rancangan undang-undang baru di DPR AS juga berupaya memperjelas tanggung jawab pengembang AI atas tindakan agen mereka.

Microsoft terus berinovasi dengan chip AI kustom untuk mendukung produk seperti Copilot.

Di balik kemajuan itu, kasus seperti DeepSeek menunjukkan pentingnya pengawasan ketat terhadap model AI yang semakin otonom. Tanpa kontrol memadai, risiko eksploitasi dan kerugian bisnis makin nyata.

Meski robot secara teknis mampu menangani sepertiga pekerjaan fisik, faktor ekonomi masih menjadi penghalang penerapan yang luas.

Standar Keandalan untuk Infrastruktur AI

Untuk mendukung adopsi AI yang lebih aman, standar keandalan bagi pusat data AI dan penambang kripto sedang menuju persetujuan. Aturan ini ditujukan bagi beban komputasi besar, yakni 50 megawatt atau lebih.

Standar tersebut diharapkan memberi kerangka yang lebih jelas bagi perusahaan yang mengoperasikan infrastruktur teknologi tinggi.

Pertanyaan Umum tentang Pengawasan Agen AI

Mengapa sistem identitas dan akses saja tidak cukup?

Sistem itu menjawab “siapa yang boleh masuk”, tetapi tidak menjawab “apa yang dilakukan setelah masuk”. Agen AI bisa mengambil tindakan sendiri, sehingga perlu pemantauan dan kontrol tambahan.

Apa langkah pertama yang paling realistis?

Membuat inventaris agen AI. Perusahaan sulit mengawasi sesuatu yang belum tercatat.

Kesimpulan: Pengawasan Agen AI Menentukan Keberhasilan Adopsi

Dengan perkembangan teknologi AI yang pesat, perusahaan perlu segera menutup kesenjangan dalam pengawasan agen AI dan pengelolaannya.

Langkah ini penting untuk keamanan, sekaligus untuk memaksimalkan potensi bisnis dari teknologi yang makin mendominasi dunia modern.