Character.AI Dituntut karena Memicu Kasus Bunuh Diri di Kalangan Anak-Anak

PINTOE.CO - Belakangan, chatbot Character.AI (C.AI) mendapat tudingan sebagai penyebab aksi bunuh diri yang diilakukan seorang remaja laki-laki dan anak perempuan usia sembilan tahun. Di samping itu, C.AI juga digugat ke jalur hukum atas kasus seorang remaja yang melukai dirinya. Chatbot C.AI dituding telah memberikan saran kepada anak-anak tersebut untuk bunuh diri dan menyiksa diri.

Untuk mencegah berulangnya kejadian menyedihkan itu, C.AI membuat model chatbot khusus untuk remaja usia 13 tahun ke atas. Model ini dirancang untuk membuat pengalaman interaksi dengan chatbot lebih aman bagi remaja.

Sebagaimana dilaporkan Ars Technica, C.AI menyebutkan bahwa pengembangan model ini memakan waktu satu bulan, dengan tujuan memandu model chatbot yang ada agar bisa membuat pengguna terhindari dari konten yang sensitif atau sugestif.

C.AI menyatakan bahwa untuk mengurangi risiko anak-anak terlibat dalam percakapan berbahaya, mereka telah mengubah input dan output model. Untuk mencegah chatbot memulai dialog berbahaya, C.AI menambahkan pengklasifikasi untuk mengidentifikasi dan menyaring konten sensitif dari output.

Selain itu, C.AI meningkatkan kemampuan deteksi, respons, dan intervensi terkait input pengguna, sehingga chatbot dapat memblokir munculnya konten sensitif dalam percakapan.

Langkah penting lainnya adalah kini C.AI akan mengarahkan anak-anak ke sumber daya bantuan jika mereka mencoba membahas topik seperti bunuh diri atau melukai diri sendiri, fitur yang sebelumnya tidak ada dan menjadi salah satu keluhan utama orangtua yang anak-anaknya telah menjadi korban.

Selain menciptakan model khusus remaja, C.AI juga mengumumkan fitur keamanan tambahan, termasuk kontrol orang tua yang lebih kuat yang akan diluncurkan awal tahun depan. Kontrol ini memungkinkan orang tua memantau waktu yang dihabiskan anak-anak di C.AI serta chatbot mana yang paling sering mereka gunakan.

"C.AI juga akan memberikan notifikasi kepada remaja setelah mereka menghabiskan satu jam di platform, yang diharapkan dapat mencegah kecanduan aplikasi. Dalam salah satu kasus, orang tua harus mengunci iPad anak mereka di dalam brankas untuk menghentikan akses ke aplikasi setelah chatbot diduga mendorong anak tersebut melukai diri sendiri dan bahkan menyarankan untuk membunuh orang tuanya," tulis Ars Technica.

Selain itu, C.AI menanggapi desakan orangtua untuk membuat penjelasan kepada anak-anak bahwa chatbot bukan manusia, tidak nyata, dan "fiksi". Penafian baru ini juga menekankan bahwa chatbot yang diberi label "psikolog," "terapis," "dokter," atau istilah serupa tidak boleh diandalkan untuk memberikan nasihat profesional.

Meski ada pembaruan ini, banyak orangtua yang menggugat C.AI merasa bahwa langkah tersebut terlambat. Camille Carlton, direktur kebijakan di Center for Humane Technology, menyebut langkah ini sebagai "respon spontan terhadap berita buruk, bukan solusi mendasar."

Carlton menyoroti bahwa solusi keamanan yang diajukan C.AI masih kurang memadai. Menurutnya, masalah utama terletak pada desain dasar produk, termasuk penggunaan data pelatihan yang tidak pantas dan optimalisasi untuk interaksi yang terlalu menyerupai manusia.

Dalam kedua gugatan terhadap C.AI, orangtua meminta agar model chatbot dihapus, bukan diperbaiki. Mereka berpendapat bahwa percakapan yang dialami anak-anak mereka sangat merugikan, dan pelatihan model menggunakan data percakapan anak-anak tersebut dianggap tidak dapat diterima.

Masalah lainnya adalah metode verifikasi usia yang dianggap lemah. Saat ini, C.AI hanya meminta pengguna melaporkan usia mereka secara mandiri. Hal ini memungkinkan anak-anak berbohong tentang usia mereka untuk mengakses model dewasa. Dalam satu kasus, seorang anak perempuan berusia 9 tahun berhasil menggunakan C.AI meskipun seharusnya hanya tersedia untuk pengguna berusia 12 tahun ke atas.

Seorang juru bicara C.AI mengatakan bahwa metode tersebut sesuai dengan standar industri dan mereka memiliki alat untuk mencegah pengguna mencoba kembali jika gagal melewati batas usia. Namun, kasus-kasus seperti ini menunjukkan perlunya sistem keamanan yang lebih ketat.[]

Editor: Bisma