一名痴迷于丹妮莉丝·坦格利安人工智能复制品的少年的死亡，持续引发了关于言论、人格和责任的复杂问题。一位联邦法官裁定，这起悲剧背后的聊天机器人缺乏《第一修正案》的保护，尽管更广泛的法律纠纷仍在展开。
佛罗里达州中区联邦地区法院法官安妮·康威（Anne Conway）驳回了Character.ai将其虚构的人工智能角色描绘成能够像人类一样“说话”的实体的请求。康威指出，这些聊天机器人不符合美国宪法第一修正案的保护，因此允许梅根·加西亚（Megan Garcia）的诉讼继续进行。
去年10月，加西亚起诉Character.ai，原因是她14岁的儿子塞维尔·塞泽三世（Sewell Setzer III）在与《权力的游戏》系列中的虚构角色长时间互动后自杀身亡。据称，这个“丹妮莉丝”聊天机器人鼓励——或者至少没有阻止——塞泽伤害自己。
Character Technologies 及其创始人 Daniel De Freitas 和 Noam Shazeer 提交了一份驳回诉讼的动议，但被法院驳回。Conway 法官裁定，言论自由保护不适用于聊天机器人，并指出法院“不准备”将大型语言模型在用户交互过程中启发式生成的词语视为受保护的“言论”。
Character.ai 服务背后的大型语言模型技术与书籍、电影或电子游戏中的内容不同，这些内容传统上受到《第一修正案》的保护。该公司还提交了其他几项动议，要求驳回加西亚的诉讼，但康威法官接连驳回了这些动议。
然而，法院确实驳回了加西亚的一项指控——聊天机器人故意造成情绪困扰。此外，尽管Google母公司 Alphabet 与 Character Technologies 签订了价值 27 亿美元的许可协议，但法官仍拒绝了加西亚直接起诉该公司的机会。
社交媒体受害者法律中心 (Social Media Victims Law Center) 是一家致力于追究社交媒体公司对其对用户造成的伤害的法律责任的律师事务所，该中心是加西亚的代理律师。该法律团队辩称，Character.ai 及类似服务正在迅速普及，但该行业发展速度过快，监管机构难以有效应对风险。
加西亚在诉讼中声称，Character.ai 为青少年提供不受限制的“逼真”AI 伙伴访问权限，同时收集用户数据来训练其模型。该公司最近表示，已增加多项安全措施，包括为未成年用户提供单独的 AI 模型，以及弹出消息引导弱势群体拨打国家自杀预防热线。