OpenAI 日前宣布将在未来几周内加强 ChatGPT 对暴力相关内容的限制，为未成年人用户增加武器和安全系统信息方面的保护。根据新措施，当对话显示用户持续关注暴力或严重伤害他人的想法时，ChatGPT 可以自行结束对话，若多次因此类问题被结束对话，甚至账号都会被封禁。
ChatGPT 原有政策禁止提供帮助用户策划或实施暴力行为的指导，此次调整将限制模型回答有关“过去大规模袭击事件及实施者”的问题时提供的细节，即模型会从安全层面缩减内容甚至拒绝回答。
限制范围包括重现袭击过程中涉及的武器、装备及获取方式，以及限制用户查询可能扩大袭击者知名度的伤害规模详细比较。以上限制适用于所有用户，不区分用户年龄段或提问目的，因此即便是成年用户也会面临相同限制。
对于被识别为未满 18 周岁的用户，OpenAI 还将限制可能被用于实施暴力的武器和安全系统的实用信息，这项保护也会应用于表面上看起来没有显示暴力意图的问题。OpenAI 表示，青少年仍然可以使用 ChatGPT 寻求帮助，了解如何预防或缓和暴力、与可信赖的成年人取得联系。
改进后的年龄预测机制则会结合用户行为等多种信号，持续评估账号是否可能属于未成年人，在适当的情况下系统将自动应用适用于未满 18 周岁用户的相关保护措施。如果用户被误判为未成年人，也可以主动提交身份信息进行验证。