Langkah-langkah untuk Mengamankan Data dari LLM Publik
LLM publik menawarkan kemudahan penggunaan, biaya yang lebih rendah, dan komunitas yang besar, tetapi ini bisa mengorbankan keamanan data. Organisasi tertarik dengan mode bahasa besar DeepSeek, yang menjanjikan kinerja serupa dengan platform pesaing dengan biaya yang jauh lebih rendah. Namun, mereka juga khawatir karena asal negara DeepSeek adalah China. Faktanya, mereka harus waspada saat berinteraksi dengan penyedia LLM publik mana pun.
LLM publik menawarkan kemudahan penggunaan, biaya yang lebih rendah, dan komunitas yang besar. Namun, semua ini bisa mengorbankan keamanan data. Memang, fakta bahwa DeepSeek berasal dari startup China adalah alasan untuk kekhawatiran yang meningkat, tetapi menggunakan LLM publik mana pun menempatkan data organisasi dalam risiko. Apa yang terjadi padanya? Apa yang seharusnya atau tidak seharusnya dikirim? Bagaimana jika model tersebut dikompromikan? Risiko-risiko ini dapat menyebabkan pelanggaran keamanan, informasi yang salah, dan masalah regulasi, itulah sebabnya organisasi memerlukan kontrol data yang ketat dan jejak audit. Jika tidak, mereka mempertaruhkan bisnis dan pelanggannya.
Pengembang aplikasi adalah garis pertahanan pertama saat menetapkan kontrol atas penggunaan LLM. Mereka bertanggung jawab untuk mendeteksi, membersihkan, dan bahkan membatasi data yang mereka kirim dan terima, serta menghubungkan dengan aman ke LLM mana pun yang mereka gunakan. Ini termasuk menjaga ID klien, rahasia, dan token otorisasi tetap aman. Tentu saja, garis pertahanan pertama tidak bisa menjadi satu-satunya garis pertahanan. Faktanya, “pertahanan berlapis” mungkin lebih penting dari sebelumnya ketika mengendalikan interaksi LLM.
Satu lapisan keamanan yang kemungkinan sudah dimiliki organisasi adalah gerbang API. Saat organisasi memperluas penggunaan AI prediktif dan generatif di seluruh aplikasi, mereka akan membutuhkan lebih banyak akses ke data yang berarti lebih banyak panggilan API. Namun, AI membawa API ke arah yang tidak dirancang untuk ditangani oleh gerbang. Ini akan sangat benar dengan munculnya AI agen, yang melibatkan model yang lebih kecil berjalan secara otonom dan berintegrasi dengan API dan layanan lainnya. Karena kasus penggunaan, kustomisasi, kekuatan, kedaulatan data, keamanan, biaya, dan masalah lainnya, agen AI dalam pengaturan perusahaan sering kali dijalankan di platform internal. Itu adalah lalu lintas timur/barat, yang tidak dioptimalkan oleh gerbang API. Memang, fokus gerbang API pada lalu lintas utara/selatan membatasi efektivitasnya dalam konteks AI yang diperluas.
Organisasi harus melampaui gerbang API untuk membangun perantara yang mengamati, mengaudit, dan mengendalikan interaksi dari aplikasi. Salah satu solusinya adalah gerbang AI, yang dapat menerapkan keamanan dan firewall aplikasi web (kontrol berbasis IP). Gerbang AI juga dapat menerapkan kebijakan tentang apa yang dapat dan tidak dapat digunakan LLM untuk mengamankan koneksi dan bertindak sebagai pembatas yang memeriksa permintaan ke dan tanggapan dari LLM untuk menentukan apakah mereka harus diizinkan.
Gerbang AI juga memungkinkan organisasi untuk menerapkan arsitektur jenis “sakelar pemutus” yang memungkinkan mereka untuk menyiapkan pembatas baru jika terdeteksi kerentanan, proses yang jauh lebih efisien daripada meminta semua tim aplikasi terkait untuk memperbarui kode mereka. Garis pertahanan lain yang harus dipertimbangkan organisasi untuk diintegrasikan ke dalam jalur AI mereka meliputi: sanitasi input, enkripsi data, rencana audit keamanan dan respons insiden, pemantauan LLM berkelanjutan, kontrol pelatihan data, dan pendidikan karyawan.
DeepSeek adalah model yang kuat, tetapi organisasi harus berhati-hati dengan data dan informasi apa yang mereka kirimkan kepadanya, seperti halnya dengan model apa pun yang dihosting oleh penyedia publik. DeepSeek mungkin aman, tetapi siapa yang tahu? Siapa yang tahu tentang penyedia model LLM mana pun? Organisasi harus menerapkan sistem keamanan, pengamatan, dan pembatas yang ketat sebelum berinteraksi dengan LLM publik mana pun.