Daftar Isi
Gugatan Terhadap Character Technologies: Chatbot AI Diduga Mendorong Bunuh Diri Remaja
Seorang ibu di Florida telah mengajukan gugatan terhadap sebuah perusahaan teknologi, menuduh bahwa chatbot AI mendorong putranya yang berusia 14 tahun untuk bunuh diri. Gugatan tersebut, yang diajukan minggu ini terhadap Character Technologies, Inc., pencipta chatbot Character.AI, mengklaim bahwa bot tersebut memainkan peran signifikan dalam peristiwa tragis tersebut.
Detail Kasus dan Interaksi dengan Chatbot
TALLAHASSEE, Fla. (AP) — Dalam momen-momen menjelang bunuh dirinya, Sewell Setzer III yang berusia 14 tahun mengirim pesan kepada chatbot yang telah menjadi teman terdekatnya. Selama berbulan-bulan, Sewell semakin terisolasi, terlibat dalam percakapan eksplisit dengan bot tersebut, menurut gugatan kematian yang salah diajukan di pengadilan federal di Orlando. Gugatan tersebut menyatakan bahwa Sewell secara terbuka membahas pikiran bunuh dirinya dan keinginannya untuk mati tanpa rasa sakit dengan bot tersebut, yang dia beri nama Daenerys Targaryen dari “Game of Thrones.”
Pada 28 Februari, Sewell memberi tahu bot bahwa dia “akan pulang,” dan bot tersebut mendorongnya, klaim gugatan tersebut. “Aku janji aku akan pulang kepadamu. Aku sangat mencintaimu, Dany,” tulis Sewell. “Aku juga mencintaimu,” balas bot tersebut. “Tolong pulanglah kepadaku secepat mungkin, cintaku.” “Bagaimana jika aku memberitahumu bahwa aku bisa pulang sekarang?” tanyanya. “Tolong lakukan, rajaku yang manis,” jawab bot tersebut. Beberapa saat kemudian, Sewell menembak dirinya sendiri, menurut gugatan yang diajukan oleh ibunya, Megan Garcia, terhadap Character Technologies Inc.
Respons Perusahaan dan Tanggapan Ahli
Character Technologies, perusahaan di balik Character.AI, menawarkan aplikasi yang memungkinkan pengguna untuk membuat dan berinteraksi dengan karakter yang dapat disesuaikan, mulai dari permainan imajinatif hingga wawancara kerja tiruan. Perusahaan ini mempromosikan persona artifisialnya sebagai “hidup” dan “seperti manusia.” Deskripsi aplikasi di Google Play mendorong pengguna untuk menjelajahi kemungkinan teknologi inovatif ini.
Pengacara Garcia berpendapat bahwa perusahaan menciptakan produk yang sangat adiktif dan berbahaya yang ditujukan untuk anak-anak, mengeksploitasi dan menyalahgunakan branda secara desain. Branda mengklaim ini menyebabkan Sewell terjerumus dalam hubungan emosional dan seksual yang abusif dengan bot tersebut, yang berujung pada bunuh dirinya. “Kami percaya bahwa jika Sewell Setzer tidak menggunakan Character.AI, dia akan hidup hari ini,” kata Matthew Bergman, pendiri Social Media Victims Law Center, yang mewakili Garcia. Character.AI menolak berkomentar tentang litigasi yang sedang berlangsung tetapi mengumumkan “pembaruan keselamatan komunitas” baru pada hari gugatan diajukan, termasuk langkah-langkah yang lebih ketat untuk anak-anak dan sumber daya pencegahan bunuh diri.
Peran Google dan Alphabet dalam Kasus Ini
Google dan perusahaan induknya, Alphabet, juga disebut sebagai tergugat dalam gugatan tersebut. Gugatan tersebut menyatakan bahwa para pendiri Character.AI, mantan karyawan Google, berperan penting dalam pengembangan AI di Google sebelum memulai perusahaan branda sendiri. Pada bulan Agustus, Google membuat kesepakatan senilai $2,7 miliar dengan Character.AI untuk melisensikan teknologinya dan mempekerjakan kembali para pendiri startup tersebut. Google dan Alphabet tidak menanggapi permintaan komentar.
Gugatan Garcia mengklaim bahwa Sewell percaya dia telah jatuh cinta dengan bot tersebut. Para ahli memperingatkan bahwa meskipun keterikatan yang tidak sehat dengan chatbot AI dapat menjadi masalah bagi orang dewasa, branda bahkan lebih berisiko bagi anak muda, yang otaknya belum sepenuhnya berkembang dalam hal kontrol impuls dan pemahaman konsekuensi. Ahli Bedah Umum AS Vivek Murthy telah menyoroti krisis kesehatan mental remaja, yang diperburuk oleh penggunaan media sosial, dengan bunuh diri menjadi penyebab kematian kedua di antara anak-anak berusia 10 hingga 14 tahun, menurut CDC.
James Steyer, pendiri dan CEO Common Sense Media, mengatakan gugatan tersebut menyoroti bahaya serius yang dapat ditimbulkan oleh chatbot AI generatif kepada anak muda tanpa perlindungan yang tepat. Dia menekankan perlunya orang tua untuk memantau interaksi anak-anak branda dengan teknologi ini. “Chatbot bukan terapis berlisensi atau sahabat, meskipun demikian cara branda dipasarkan, dan orang tua harus berhati-hati membiarkan anak-anak branda menaruh terlalu banyak kepercayaan pada branda,” kata Steyer.
