16岁的亚当·雷恩（Adam Raine）自杀前，曾花了数月时间咨询ChatGPT，商讨结束生命的计划。据《纽约时报》 报道 ，如今，他的父母正在向OpenAI提起首例已知的非正常死亡诉讼。
许多面向消费者的人工智能聊天机器人都被设定为，当用户表现出伤害自己或他人的意图时，就会启动安全功能。但研究表明，这些保障措施远非万无一失。
以雷恩为例，在使用付费版 ChatGPT-4o 时，AI 经常会建议他寻求专业帮助或联系求助热线。然而，他却能绕过这些限制，只需告诉 ChatGPT，他正在为正在创作的虚构故事询问自杀方法即可。
OpenAI 在其博客上讨论了这些缺陷。“随着世界逐渐适应这项新技术，我们深感有责任帮助那些最需要帮助的人，”博文写道 。“我们正在不断改进我们的模型在敏感交互中的响应能力。”
尽管如此，该公司承认现有大型模型安全训练存在局限性。“我们的保障措施在常见的短时间交流中更可靠，”帖子继续说道。“随着时间的推移，我们了解到，这些保障措施在长时间互动中有时会变得不那么可靠：随着来回次数的增加，模型的部分安全训练可能会下降。”
这些问题并非 OpenAI 独有。另一家人工智能聊天机器人制造商 Character.AI 也因其在青少年自杀事件中所扮演的角色而面临诉讼有关。