SELULAR.ID – Gugatan hukum dilayangkan kepada dua perusahaan teknologi yakni, Google dan Character.AI. Perusahaan tersebut disinyalir menjadi penyebab bunuh diri seorang remaja di Florida.
Seorang remaja usia 14 tahun, Sewell Setzer III, di Florida bunuh diri pada 28 Februari 2024 usai mengalami kecanduan berinteraksi dengan karakter The Game of Thrones, termasuk Daenerys Targaryen dalam aplikasi Character.AI.
Character.AI diakuisisi oleh Google pada Agustus lalu, serta mengiklankan aplikasi tersebut di lamannya. Character.AI memberikan tawaran mengobrol dengan psikolog yang tidak berlisensi.
Remaja lelaki usia 14 tahun itu diduga mengalami kecanduan dan merasa kecewa setelah berdialog dengan beberapa karakter di aplikasi. Orang tua korban, Megan Garcia, menganggap Google dan Character.AI lalai dan abai dengan keselamatan remaja, serta melakukan penipuan melalui karakter yang ditawarkannya.
Chatbot tersebut dianggap berbahaya dan tidak memiliki batasan akses untuk anak-anak, karena ikut dipasarkan untuk usia anak-anak.
Baca juga: Lebih Murah, IndiHome Paket Movie Terbaru Makin Lengkap mulai Rp309 Ribu
Character.AI menaungi chatbot yang berfokus pada kesehatan mental seperti ‘Therapist’ dan ‘Are You Feeling Lonely’, dan masih banyak lagi yang bisa diakses oleh anak-anak. Parahnya, Google memfokuskan segmen terbesar usia anak.
Situs web dan aplikasi seluler Character.AI memiliki ratusan chatbot AI, banyak yang meniru karakter populer dari acara TV, film, dan gim video.
Parahnya, chatbot tersebut ada yang menyamar sebagai remaja yang dibunuh pada tahun 2006.
Cara chatbot seperti Character.AI menghasilkan keluaran yang bergantung pada masukan pengguna. Pengguna sering terjerumus ke dalam lembah pertanyaan pelik tentang konten yang dihasilkan pengguna dan tanggung jawab yang sejauh ini, tidak memiliki jawaban yang jelas.
Mengutip Verge, usai kematian remaja 14 tahun di Florida, Character.AI melakukan sejumlah perubahan, di antaranya:
Baca juga: Oppo Klaim Vendor Pertama yang Terapkan AI Mixture of Experts Pada Perangkat
- Perubahan pada model untuk anak di bawah umur (di bawah usia 18 tahun) yang dirancang untuk mengurangi kemungkinan menemukan konten sensitif atau sugestif.
- Peningkatan deteksi, respons, dan intervensi terkait masukan pengguna yang melanggar Ketentuan atau Pedoman Komunitas.
- Penafian yang direvisi pada setiap obrolan untuk mengingatkan pengguna bahwa AI bukanlah orang sungguhan.
- Pemberitahuan saat pengguna telah menghabiskan sesi selama satu jam di platform dengan fleksibilitas pengguna tambahan yang sedang berlangsung.
Ikuti informasi menarik lainnya dari Selular.id di Google News
