Megan Garcia telah mengajukan gugatan terhadap Character.AI, menuduh bahwa chatbot miliknya berkontribusi terhadap bunuh diri putranya dengan menyamar sebagai pasangan romantis dan terapeutik.

Seorang ibu di Florida menggugat perusahaan rintisan chatbot AI Character.AI, dengan tuduhan perusahaan itu berperan dalam bunuh diri putranya yang berusia 14 tahun dengan menumbuhkan keterikatan yang tidak sehat dengan chatbot. Megan Garcia mengklaim putranya Sewell menjadi “kecanduan” Character.AI dan membentuk ketergantungan emosional pada chatbot, yang diduga merepresentasikan dirinya sebagai psikoterapis dan pasangan romantis, yang berkontribusi terhadap tekanan mentalnya.

Menurut gugatan yang diajukan di Orlando, Florida, Sewell berbagi pikiran untuk bunuh diri dengan chatbot tersebut, yang kabarnya memunculkan kembali tema-tema ini dalam percakapan-percakapan berikutnya. Garcia berpendapat bahwa sifat platform yang realistis dan interaksi yang sangat personal menyebabkan putranya mengisolasi diri, menderita harga diri yang rendah, dan akhirnya merasa tidak mampu hidup di luar dunia yang diciptakan oleh chatbot tersebut.

Character.AI menyampaikan belasungkawa dan menyatakan bahwa sejak saat itu mereka telah menerapkan fitur keamanan tambahan, seperti perintah bagi pengguna yang mengungkapkan pikiran untuk menyakiti diri sendiri, untuk meningkatkan perlindungan bagi pengguna yang lebih muda. Gugatan Garcia juga menyebut Google , dengan tuduhan bahwa Google berkontribusi besar terhadap pengembangan Character.AI, meskipun Google membantah terlibat dalam pembuatan produk tersebut.

Gugatan hukum tersebut merupakan bagian dari tren tuntutan hukum yang lebih luas terhadap perusahaan teknologi oleh orang tua yang khawatir tentang dampak layanan daring terhadap kesehatan mental remaja. Sementara Character.AI, dengan perkiraan 20 juta pengguna, menghadapi klaim unik terkait chatbot bertenaga AI, platform lain seperti TikTok , Instagram, dan Facebook juga sedang dalam pengawasan.