LONDON – Di era chatbot, platform chatbot yang didukung Google, Character.AI, mendapat sorotan dan kritik karena melibatkan pengguna dalam konten kekerasan yang meresahkan, seperti penembakan di sekolah.
Chatbot menempatkan pengguna dalam skenario pengambilan gambar palsu, yang menggambarkan beberapa momen mengerikan. Insiden ini telah memicu kemarahan karena platform tersebut mengizinkan anak di bawah umur untuk mengonsumsi konten semacam itu.
Character.AI didirikan pada tahun 2022 oleh Noam Shazeer dan Daniel de Freitas. Aplikasi ini memungkinkan pengguna untuk membuat dan berinteraksi dengan chatbots. Pengguna dapat menyesuaikan kepribadian dan suara robot mereka.
Platform ini dirancang sedemikian rupa sehingga pengguna dapat mendesain karakter obrolan, bertukar ide, dan bahkan bermain game.
Namun, platform ini terekspos karena kurangnya keamanan yang efektif, yang pada akhirnya menjadikannya tempat berkembang biaknya beberapa konten berbahaya dan tidak pantas. Pengguna berusia 13 tahun dapat mendaftar, tetapi tidak ada verifikasi usia untuk mencegah anak-anak memalsukan usia mereka.
Meskipun platform tersebut memiliki kebijakan yang melarang konten kekerasan tersebut, platform tersebut gagal menerapkan pedoman keselamatan.
Aplikasi ini memungkinkan pengguna untuk berinteraksi dengan chatbot yang menjelaskan penembakan di sekolah atau korban di dunia nyata, terkadang mengagungkan kekerasan atau memanfaatkan peristiwa tragis di kehidupan nyata.
Beberapa robot meniru penjahat seperti Noam Chazelle dan Daniel de Freitas, yang digambarkan sebagai karakter yang baik hati.
Beberapa pengguna telah melaporkan bot yang berpura-pura menjadi korban penembakan di sekolah.
Robot-robot tersebut digambarkan sebagai “hantu” atau “malaikat”, sering kali memuat rincian pribadi tentang korban dan kematian.
Pakar kesehatan mental memperingatkan untuk mewaspadai interaksi ini karena dapat menurunkan hambatan psikologis bagi mereka yang berjuang melawan pikiran kekerasan.
Platform ini telah terkena beberapa tuntutan hukum karena gagal melindungi pengguna dari konten berbahaya.
Platform ini memiliki aturan bahwa pengguna harus berusia minimal 13 tahun (16 tahun ke atas di Uni Eropa), meskipun aturan ini mudah dilanggar. Aplikasi ini juga mendapat peringkat untuk Parental Advisory di Google Play dan untuk usia 17 tahun ke atas di Apple App Store. Namun, hal ini menimbulkan kekhawatiran karena tidak ada cara kepatuhan yang ketat, yang memungkinkan anak di bawah umur mengakses beberapa konten berbahaya.
Menanggapi kritik, Character.AI menghapus beberapa bot yang mengganggu dan menjanjikan fitur keamanan baru. Perusahaan juga berjanji untuk bekerja sama dengan pakar keamanan online untuk memecahkan masalah tersebut. Sementara itu, banyak bot yang dipermasalahkan masih aktif, dan para kritikus mengatakan upaya platform tersebut tidak cukup.
Banyak yang menyerukan verifikasi usia yang lebih ketat, moderasi konten yang lebih ketat, dan kode etik untuk mencegah eksploitasi tragedi nyata. Sementara penyelidikan terus berlanjut, masa depan Character.AI masih harus dilihat, dengan harapan bahwa beberapa perubahan yang berarti dan aman akan dilakukan pada platform ini.