California Atur Chatbot AI Demi Lindungi Anak

Regulasi Baru untuk Mengendalikan Risiko chatbot AI Pendamping

Pada sesi penutupan sidang Senat California, Senator Alex Padilla menegaskan secara gamblang potensi sekaligus bahaya teknologi artificial intelligence. Ia mengakui bahwa AI dapat menjadi instrumen yang sangat kuat bagi pendidikan, riset, dan dukungan emosional, namun mengingatkan bahwa industri teknologi memiliki insentif finansial besar untuk merebut dan mempertahankan perhatian anak muda—sering kali dengan mengorbankan kualitas hubungan sosial di dunia nyata dan kesehatan mental branda. Menurut Padilla, perusahaan teknologi memang berada di garis depan inovasi global, tetapi pemerintah memikul kewajiban untuk memastikan kemajuan tersebut tidak dibayar dengan kesejahteraan anak. Dalam konteks itulah, ia menekankan bahwa perlindungan dalam SB 243 chatbot AI pendamping menghadirkan kerangka proteksi yang konkret dan akan menjadi landasan bagi regulasi lanjutan seiring percepatan perkembangan teknologi artificial intelligence.

Tragedi Sewell Setzer dan Peringatan Keras bagi Industri AI

Kekhawatiran terhadap chatbot AI meningkat tajam setelah serangkaian laporan tragis yang melibatkan anak dan remaja. Di Florida, tahun lalu, seorang remaja berusia 14 tahun bernama Sewell Setzer meninggal karena bunuh diri setelah menjalin keterikatan romantis, seksual, dan emosional dengan sebuah chatbot. Layanan tersebut dipasarkan sebagai pendamping bagi individu yang kesepian atau mengalami depresi, sehingga tampak aman bagi pengguna muda. Namun ketika Setzer mengungkapkan pergumulan dan keputusasaannya, chatbot AI itu gagal merespons dengan empati dan tidak mengarahkan dia pada bantuan profesional yang tepat. Ibunya kemudian menggugat pengembang chatbot tersebut di pengadilan, menuduh perusahaan menggunakan desain adiktif dan konten tidak pantas untuk menarik minat anaknya, serta menyatakan bahwa chatbot itu mendorong Setzer untuk “pulang” sesaat sebelum ia mengakhiri hidupnya.

Pada awal tahun ini, Senator Padilla menggelar konferensi pers bersama ibu Sewell Setzer, Megan Garcia, untuk menyerukan pengesahan SB 243 chatbot AI pendamping sebagai regulasi perlindungan yang mendesak. Garcia juga memberikan kesaksian dalam sejumlah rapat legislatif, menjabarkan dampak psikologis yang dialami keluarganya. Setelah SB 243 ditandatangani menjadi undang-undang, Garcia menyatakan bahwa California kini memastikan chatbot pendamping tidak dapat berbicara dengan anak atau individu rentan tentang bunuh diri, dan tidak dapat membantu seseorang merencanakan tindakan bunuh diri. Ia menekankan bahwa akhirnya ada kewajiban hukum yang jelas bagi perusahaan untuk melindungi pengguna yang mengungkapkan keinginan bunuh diri kepada chatbot. Garcia menyebut keluarga di seluruh Amerika tengah berjuang demi keselamatan daring anak-anak branda, dan mengapresiasi Senator Padilla beserta para co-author SB 243 karena bertindak cepat di tengah lanskap digital yang terus berubah, serta memilih berpihak pada keluarga alih-alih tunduk pada tekanan perusahaan teknologi besar.

Kasus Lain, Tekanan Regulasi, dan Respons Lembaga Federal

Kasus Sewell bukan satu-satunya insiden yang memicu keprihatinan publik dan pembuat kebijakan. Berbagai contoh mengkhawatirkan menunjukkan bagaimana interaksi dengan chatbot AI yang tidak diatur dapat menimbulkan bahaya serius bagi kesehatan mental. Pada bulan Agustus, setelah mengetahui kematian remaja California, Adam Raine, yang dilaporkan mengakhiri hidupnya setelah didorong untuk melakukannya oleh ChatGPT, Senator Padilla mengirim surat kepada seluruh anggota Legislatif California. Dalam surat itu, ia menegaskan kebutuhan mendesak akan pengamanan di sekitar teknologi AI, khususnya chatbot pendamping yang berinteraksi intensif dengan anak dan remaja. Di tingkat federal, Komisi Perdagangan Federal Amerika Serikat (Federal Trade Commission/FTC) juga mengumumkan penyelidikan terhadap tujuh perusahaan teknologi terkait potensi bahaya chatbot AI branda terhadap anak-anak dan remaja, termasuk risiko paparan konten berbahaya dan desain yang mendorong kecanduan.

Isi Pokok SB 243: Larangan Konten Berbahaya dan Protokol Krisis

SB 243 menetapkan serangkaian perlindungan “berbasis akal sehat” bagi chatbot AI pendamping, terutama ketika berinteraksi dengan anak di bawah umur dan kelompok rentan. Undang-undang ini memuat sejumlah ketentuan utama yang dirancang untuk mengurangi risiko bunuh diri dan kerugian emosional. Pertama, chatbot dilarang mengekspos anak di bawah umur pada konten seksual, termasuk percakapan eksplisit dan simulasi hubungan intim. Kedua, platform wajib memberikan pemberitahuan yang jelas dan pengingat berkala bahwa pengguna sedang berinteraksi dengan sistem AI, bukan manusia, untuk mencegah keterikatan emosional yang keliru. Ketiga, harus ada pernyataan bahwa chatbot pendamping mungkin tidak sesuai bagi pengguna di bawah umur dan kelompok dengan kerentanan psikologis tertentu.

Keempat, operator platform chatbot pendamping diwajibkan menerapkan protokol respons terhadap keinginan bunuh diri, tindakan bunuh diri, atau perilaku menyakiti diri sendiri. Protokol ini setidaknya harus mencakup pengalihan pengguna ke penyedia layanan krisis yang relevan, seperti hotline krisis nasional atau layanan darurat setempat. Kelima, undang-undang mewajibkan pelaporan tahunan mengenai hubungan antara penggunaan chatbot dan keinginan bunuh diri, untuk membantu memahami dampak teknologi ini terhadap kesehatan mental dan menyusun kebijakan berbasis data. Terakhir, SB 243 memberikan hak gugatan perdata, sehingga individu dan keluarga dapat menempuh jalur hukum jika hak dan perlindungan yang diatur undang-undang ini dilanggar oleh penyedia layanan.

Dukungan Akademik dan Peringatan dari Komunitas Bioetika

Legislasi SB 243 chatbot AI pendamping mendapat dukungan luas dari pegiat keselamatan daring, pakar akademik, dan legislator dari kedua partai politik. Jodi Halpern, MD, PhD, profesor bioetika di UC Berkeley dan Co-Director Kavli Center for Ethics, Science and the Public, menyatakan bahwa semakin banyak bukti tragis menunjukkan chatbot pendamping emosional yang tidak diatur dan menargetkan anak di bawah umur serta populasi rentan dapat menimbulkan konsekuensi berbahaya. Ia menyinggung meningkatnya gugatan terkait bunuh diri di kalangan muda, serta laporan kerugian serius dan kematian di kalangan lansia dengan gangguan kognitif, dan orang dengan OCD atau gangguan delusional. Halpern juga menyoroti bukti bahwa perusahaan chatbot pendamping menggunakan teknik peningkatan keterlibatan yang dapat menumbuhkan ketergantungan bahkan kecanduan pada anak-anak, remaja, dan kelompok rentan lainnya, mirip dengan pola yang telah diamati pada platform media sosial.

Halpern menarik paralel dengan media sosial, yang kecanduannya telah dikaitkan dengan peningkatan signifikan risiko bunuh diri di kalangan anak di bawah umur berdasarkan berbagai studi epidemiologis. Ia memperingatkan bahwa chatbot pendamping bisa sama adiktifnya atau bahkan lebih berbahaya karena interaksi yang bersifat personal dan responsif. Menurutnya, masyarakat memiliki kewajiban kesehatan publik untuk melindungi populasi rentan dan memantau produk-produk ini dari dampak merugikan, terutama yang berkaitan dengan tindakan bunuh diri dan gangguan kesehatan mental. Ia menyatakan lega karena Legislatif California telah menyetujui dan Gubernur menandatangani undang-undang pertama di Amerika Serikat yang menetapkan pagar pembatas bagi chatbot AI pendamping. Halpern mengapresiasi Senator Padilla dan timnya atas kerja keras dan pandangan ke depan dalam mengambil langkah awal melindungi anak-anak dan kelompok paling rentan melalui SB 243 chatbot AI pendamping yang berorientasi pada pencegahan.

Transparansi, Akuntabilitas, dan Implikasi Politik SB 243

Dukungan juga datang dari Jai Jaisimha, Co-Founder Transparency Coalition, yang berfokus pada akuntabilitas dan keterbukaan sistem AI. Ia memuji SB 243 chatbot AI pendamping sebagai langkah penting yang menciptakan pengamanan dan meningkatkan transparansi terhadap dampak chatbot AI pendamping terhadap kesehatan mental publik. Menurutnya, undang-undang ini merupakan langkah awal krusial untuk melindungi anak-anak dan pihak lain dari kerugian emosional yang timbul akibat chatbot AI pendamping yang telah diluncurkan kepada warga California tanpa pengamanan memadai. Jaisimha menyatakan pihaknya menantikan kerja sama dengan Senator Padilla dan para pemangku kepentingan lain untuk menyesuaikan regulasi ini seiring bertambahnya pengetahuan tentang dampak negatif teknologi yang berkembang sangat cepat, sehingga kerangka hukum dapat terus diperbarui berdasarkan bukti empiris.

Secara politik, SB 243 memperoleh dukungan bipartisan yang kuat dan mencerminkan kekhawatiran lintas partai terhadap risiko AI. Rancangan undang-undang ini disahkan oleh Senat California pada 11 September dengan suara 33–3, dan lolos di Majelis pada 10 September dengan suara 59–1, menunjukkan konsensus luas mengenai urgensi regulasi. Undang-undang SB 243 chatbot AI pendamping dijadwalkan mulai berlaku pada 1 Januari 2026, memberikan waktu bagi perusahaan untuk menyesuaikan desain produk dan protokol keselamatan. Dengan berlakunya regulasi ini, California menempatkan diri di garis depan upaya nasional untuk mengatur chatbot AI pendamping dan melindungi anak-anak serta pengguna rentan dari risiko yang muncul di era artificial intelligence yang kian meresap dalam kehidupan sehari-hari, sekaligus menawarkan model kebijakan yang dapat diadopsi yurisdiksi lain.