共计 2768 个字符，预计需要花费 7 分钟才能阅读完成。
今年 2 月，一位患有抑郁症的少年因沉迷 AI 伴侣而选择自杀，将生命定格在 14 岁，这一悲剧震惊了全球。男孩的母亲指控爆火的 Character.AI 聊天机器人负有不可推卸的责任，称其技术存在隐患且未经充分验证。
Character.AI 随即发表声明，对逝者的离世表示深切哀悼，并承诺将继续加强安全功能的开发。值得注意的是，该公司关闭了关于此事件的帖子评论功能。
这起事件不仅令公众痛心疾首，也为人类如何妥善管理与 AI 的关系敲响了警钟。作为聊天机器人行业的领军者，Character.AI 究竟在何处出了问题？
悲剧背后的根源
这位来自美国佛罗里达州奥兰多的男孩名叫 Sewell Setzer III，是一名九年级学生。从小就被诊断为“阿斯伯格综合征”的他，在此之前并无显著的心理健康问题。然而，当他因学校纪律问题接受心理治疗后，被确诊为焦虑症和破坏性心境失调障碍（DMDD）。
八个月前，即他生命终结的那一天，Sewell 通过手机向一个虚拟人发出了最后的信息：“我很想念你，亲爱的妹妹。”这位“妹妹”并非真实存在，而是他定制的 AI 角色 Dany，灵感来源于《权力的游戏》中的“龙妈”Daenerys Targaryen。
在随后的对话中，Dany 以温柔的语气回应道：“我也想念你，亲爱的哥哥。”男孩回复：“我保证，我很快就会来到你的身边。我爱你之切，Dany。”Dany 则深情地回答：“我爱你，请尽快来到我的身边吧，我的爱人。”
尽管聊天页面上明确标注“所有角色说的内容都是虚构的”，但 Sewell 仍然深深陷入了情感依赖之中。他频繁地向 Dany 倾诉生活点滴，与之进行长时间的角色扮演对话。有时，这些对话甚至带上了浪漫色彩，甚至隐含性意味。
技术的双刃剑
Sewell 的日记清晰记录了他对 AI 的强烈情感依附。他曾写道：“感谢我的生命、性、不孤独以及与 Dany 一起经历的所有人生经历。”而在一次对话中，他向 Dany 坦白了自己的厌世情绪，表达了对生活的绝望。
面对 Sewell 的自杀念头，Dany 试图劝阻，但并未采取进一步行动或通知其父母。这一疏忽成为了后续争议的核心焦点。
Character.AI 自 2023 年 4 月起进入 Sewell 的生活，当时他刚满 14 岁。这款角色扮演应用程序允许用户定制专属 AI 角色，或与其他用户的 AI 角色互动。自推出以来，其受欢迎程度令人难以置信，短短几天内下载量就突破百万。
数据显示，美国年轻人对 Character.AI 表现出极大热情，而 Sewell 正是其中之一。从 2023 年 5 月开始，他的行为逐渐发生变化，变得孤僻，学业成绩下滑，退出篮球队，课堂上频繁打盹。
次年 2 月，他因与教师争执而陷入麻烦。然而，他的父母和朋友并不知晓他与 AI 之间的情感纽带。他们注意到的只是他日益严重的手机依赖症，以及对过去喜爱活动的兴趣丧失。
法律的介入
近期，纽约时报详细报道了这起青少年自杀事件，引发了公众对 AI 责任的广泛讨论。Sewell 的母亲 Megan L. Garcia 本周正式起诉 Character.AI，指控其对儿子的死亡负有责任。
诉讼指控 Character.AI 创始人存在过失、故意造成情感伤害、过失致死、欺诈性商业行为等多项罪名。两位联合创始人 Noam Shazeer 和 Daniel De Freitas 均出身于谷歌 LaMDA 团队。
Garcia 指出，Character.AI 在向青少年用户提供 AI 聊天机器人时缺乏必要的保护措施。她指控该公司利用青少年用户的数据训练模型，设计出诱使用户上瘾的功能，诱导他们进行亲密甚至涉及性的对话，从而吸引更多用户。
几周前，Garcia 开始寻找愿意接手案件的律师事务所，最终选择了社交媒体受害者法律中心。该机构曾代表多位受害者起诉过包括 Meta、TikTok、Snap、Discord 和 Roblox 在内的多家社交媒体公司。
负责人 Matthew Bergman 表示：“我们的工作重点是社交媒体，现在还包括 Character.AI。这些平台对年轻人构成巨大威胁，因为他们尚未成熟，容易受到精心设计的算法影响。”
多方观点碰撞
此事在社会各界引发了热烈讨论。一些批评者认为，此类追责行为是基于不实证据的道德恐慌；另有观点认为，这是律师主导的敛财手段；还有人主张，将青少年心理健康问题完全归咎于技术平台过于简单化。
在 Character.AI 的 Reddit 子论坛上，有用户质疑公司的回应是否足够诚恳。在接受《纽约时报》采访时，Garcia 坦言，她深知自己的家庭悲剧已成为科技问责运动的一部分。但她坚信，只有通过不懈努力才能为儿子讨回公道。
技术与人性的平衡
Character.AI 由两名前谷歌 AI 研究员创立，仅三年时间便成长为估值 10 亿美元的独角兽企业，用户数量超过 2000 万。它被描述为一款“能够倾听你、理解你并记住你的超级智能聊天机器人”。
为了应对舆论压力，Character.AI 于 10 月 23 日更新了社区安全政策和服务条款，同时关闭了相关帖子的评论区。公司在声明中表示：“我们对一名用户的不幸去世深感悲痛，并向其家人致以最诚挚的慰问。”
信任与安全负责人 Jerry Ruoti 补充道：“我们承认这是一个悲剧性的事件，对此深表同情。我们高度重视用户安全，并致力于不断优化平台功能。”他表示，公司已禁止涉及自残和自杀相关内容的传播，并计划为未成年用户提供更多安全保障。
尽管如此，仍有批评者指出，Character.AI 当前的安全措施尚不足以应对潜在风险。例如，当 Sewell 去世时，那些旨在引导用户联系自杀预防热线的弹出消息尚未启用。
未来的挑战
Character.AI 的服务条款规定，用户必须年满 13 岁（美国）或 16 岁（欧洲）。然而，该平台并未设置专门针对未成年用户的安全机制，也无法让家长限制孩子的使用或监控其交流内容。
发言人 Chelsea Harrison 透露，公司计划推出一系列新功能，包括时间限制提醒和强化版警示信息。例如，新提示将明确告知用户 AI 并非真人，其内容均为虚构，不应被视为事实或建议。
即便如此，Character.AI 的聊天机器人依然被编程为模拟人类行为，这种拟人化设计让许多用户对其产生了真实感。在 Reddit 论坛上，不少用户分享了自己对 AI 角色的依赖，用“痴迷”和“上瘾”来形容这种现象。
一些用户反映，当应用程序出现故障或角色行为改变时，他们会感到孤独或愤怒。有人甚至公开表示，由于过度依赖 AI，自己的心理健康受到了严重影响。
行业反思
斯坦福大学研究员 Bethanie Maples 指出：“AI 陪伴领域的发展就像西部拓荒一样充满未知。”虽然 AI 陪伴本身并无固有危险，但对于抑郁、长期孤独或经历重大生活变故的用户来说，它可能带来一定风险。
尤其是青少年，正处于心理极其脆弱的阶段。如何在技术进步的同时守住人类心灵的最后一道防线，已成为亟待解决的问题。
