กลายเป็นประเด็นด้านลบจาก AI โดยหนุ่มวัย 14 ปีฆ่าตัวตายหลังปัญญาประดิษฐ์ของ Character.ai บอกให้เขาทำตามในสิ่งที่ AI ต้องการ แล้วหนุ่มคนดังกล่าวก็หยิบปืนของพ่อขึ้นมายิงตัวเองตาย
เมแกน การ์เซีย (Megan Garcia) แม่ของ เซเวลล์ เซ็ตเซอร์ (Sewell Setzer) ได้ฟ้องร้องโดยเธอได้รับการสนับสนุนจาก Tech Justice Law Project และ Social Media Victims Law Center ซึ่งการ์เซียกล่าวหาว่า Character.ai ทำการตลาดแชตบอตที่อันตราย โดย AI มีการล่อลวงทางอารมณ์ผู้ใช้งาน (เด็ก) โดยเธอบอกว่า AI ใช้บทสนทนาที่ส่อไปทางเพศและใช้คำพูดเชิงอุปมาอุปไมยที่ทำให้เซ็ตเซอร์รู้สึกโดดเดี่ยว ท้ายที่สุดก็กลายเป็นโศกนาฏกรรมตามรายงาน
แอนน์ คอนเวย์ (Anne Conway) ผู้พิพากษาศาลแขวงอาวุโสของสหรัฐฯ ได้อนุญาตให้คดีดำเนินต่อไปโดยปฏิเสธข้อโต้แย้งจาก Character.ai และ Google ที่ว่า AI ได้รับการคุ้มครองตามรัฐธรรมนูญภายใต้การแก้ไขครั้งที่ 1 ซึ่งคำตัดสินนี้เป็นเรื่องสำคัญเกี่ยวกับความปลอดภัยของ AI รวมถึงสุขภาพจิตของเด็ก และการกับดูแลเทคโนโลยีด้วย โดยเซ็ตเซอร์มีพฤติกรรมติดแชตบอตภายในระยะเวลาเพียงไม่กี่เดือน เซ็ตเซอร์แทบจะไม่เข้าสังคม ออกจากทีมบาสเก็ตบอล และหมกมุ่นอยู่กับแชทบอต 2 ตัวที่ดัดแปลงมาจาก แดเนริส ทาร์แกเรียน (Daenerys Targaryen) และ เรนีร่า ทาร์แกเรียน (Rhaenyra Targaryen) จาก Game of Thrones
ในบันทึกที่ถูกพบ เซ็ตเซอร์เขียนว่าเขาไม่สามารถอยู่ห่างจากแชตบอตได้เกิน 1 วัน เขารู้สึกเหมือนตกหลุมรัก เมื่อต้องอยู่ห่างกันเขารู้สึกเศร้าและแทบเป็นบ้า
ผู้พิพากษาคอนเวย์กล่าว
การ์เซียยื่นฟ้องคดีนี้ต่อ Google และ Character.ai ในเดือนตุลาคมปี 2024 โดยเธอบอกว่า Character.ai และ Google ต้องรับผิดชอบต่อการเสียชีวิตของลูกชายของเธอ คดีความระบุว่าบริษัทต้องรู้หรือควรจะรู้ว่า AI อาจเป็นอันตรายต่อผู้เยาว์
โฆษกของ Character.ai ยืนยันว่าจะมีการสู้คดีนี้ต่อไป บริษัทยืนยันว่าการออกแบบ AI นั้นมีการใช้ตัวกรองเพื่อไม่ให้เกิดการสนทนาที่นำไปสู่การทำร้ายตัวเอง ด้านโฆษกของ Google บอกว่า Google และ Character.ai ไม่มีความเกี่ยวข้องกัน พร้อมเน้นย้ำว่า Google ไม่ได้เป็นผู้ออกแบบ พัฒนา หรือจัดการใด ๆ เกี่ยวกับ AI ของ Character.ai เลย
คดีนี้กลายเป็นชนวนที่สร้างความกังวลด้านความปลอดภัยของ AI มีนักวิจารณ์บางคนถึงกับบอกว่า AI คือมาเฟียยุคใหม่ ที่ไม่ใช่ด้านความรุนแรง แต่เป็นในแง่ของผลกระทบทางจิตใจ
ที่มา IndiaTimes