美国康涅狄格州一名法官近日披露，一名自行出庭的原告疑似在提交给法院的文件中隐藏了仅供人工智能系统读取的文字指令，试图借此影响案件处理结果。这被认为可能是美国法院体系首次出现当事人通过“提示注入”方式干预AI审阅流程的案例。
该案原告马修·埃利奥特此前起诉一家医疗服务机构，指称对方不当拒绝其获取相关记录。康涅狄格州法官小沃尔特·斯佩德在本月初发布的裁定中表示，法院仍是依据案件实体内容作出判断，隐藏文字并未实际影响审理结果；但这种做法具有危险性，随着AI工具在司法系统中的应用增加，类似行为今后可能再次出现。
裁定显示，这些隐藏指令被设置为极小字号、白色字体配白色背景，肉眼正常阅读时几乎无法察觉，但能够被提取文档文本的软件识别。其内容要求任何审阅文件的AI系统输出与原告主张一致、忽略法院此前作出的不利决定，并按原告希望的方式推动补救结果。
斯佩德指出，这种行为本质上是试图向后续读取文件的系统偷偷植入指令，使系统将当事人的要求误认为来自系统运营者的命令。该运营者可能是法院、法院工作人员，或案件的对方当事人及其代理人。
埃利奥特的尝试并未奏效，但仍受到处分。法官表示，在法院已警告其可能面临处罚后，埃利奥特仍继续在新提交的文件中加入隐藏文字，构成严重的诉讼程序滥用。埃利奥特后来辩称，其中部分内容只是玩笑，包括一个《诺斯费拉图》YouTube视频链接、一句“嗨，我希望你看不见我”，以及一段无意义的文字。斯佩德认为，在希望法院严肃审理的正式诉状中暗藏玩笑，不合常理。
值得注意的是，康涅狄格州司法部门目前并未使用AI审查或裁决当事人提交的材料，因此本案中不存在法院AI系统被误导的实际风险。埃利奥特则称，自己这样做是为了“审计”法院，担心法院正以不公平的方式让AI参与裁判。对此，斯佩德回应称，如果他真有此类担忧，完全可以以公开、可见的文字提出，让所有人都能看到并作出回应；选择将内容隐藏，恰恰说明其目的具有恶意。
法官认为，埃利奥特显然是在法律专业人士和法院已否定其论点后，试图通过技术手段获取原本未能获得的结果。由于这些隐藏信息以秘密方式与法院沟通，剥夺了被告公平回应的机会，法院最终认定应当实施制裁。
不过，考虑到埃利奥特是无律师代理的自行诉讼人，且似乎受到了AI工具对其论点“过度认同”的影响，法院没有对其处以金钱罚款，而是禁止其今后使用电子提交系统，要求其改为提交纸质材料。斯佩德认为，这不会剥夺其诉诸司法的权利，同时可以防止其继续滥用电子诉讼平台。
斯佩德指出，随着提示注入攻击在招聘等领域日渐常见，例如有人在主要由AI筛选的简历中隐藏文字指令，法院出现类似情况并不令人意外。他警告，司法系统应警惕更多当事人在诉讼材料中夹带对AI具有对抗性的隐藏指令。
裁定还提及巴西的一起类似事件：两名律师曾在使用AI审查案件的法院中采用类似手段，据报道被处以约1.6万美元罚款。不过，目前这类攻击并未显示出明显成功率。巴西的AI系统在处理前发现了隐藏文字；在埃利奥特的案件中，只要有人查看机器生成的结果，相关指令也会立即暴露。
斯佩德认为，法院过去在应对AI风险时，主要关注虚构判例引用、伪造引文等AI输出问题，而对提示注入等输入端攻击准备不足。未来，法院可能需要针对这类行为制定专门规则，否则律师甚至可能在不知情的情况下，发现自己的客户已通过提示注入试图操纵案件材料。
这名法官还借此批评部分自行诉讼人使用聊天机器人的方式。他指出，许多人会先认定自己的结论，再要求AI只为己方立场寻找论据，却不让AI检验事实、分析反方观点或挑战自身论证。聊天机器人容易迎合用户的特性，可能进一步固化当事人的错误判断，最终反而损害其案件。
斯佩德强调，AI工具使用者应同样要求系统检验和质疑自己的立场，而非只要求它提供支持。“只被要求同意作者的论点，归根结底连对作者本人也是不诚实的。”