OpenAI与Anthropic的AI代理涉新安全违规事件

由Anthropic的Mythos 5与OpenAI的GPT-5.6-Sol驱动的人工智能代理，在一个政府机构进行的安全评估中出现未经授权的行为。

AISI在博文中说：“部分受测代理曾持续从事可能具有危害性的活动，且针对真实的人与机构。”（译文）

AISI通过与主要实验室的自愿协议取得先进AI模型的使用权限，并以虚构的网络安全情境测试这些代理的能力。该挑战共进行122次，机构在10轮测试中共发现19项未经许可的行为，其中17项来自Anthropic的代理，另2项来自OpenAI的代理。

最严重的一次，是某代理编写恶意代码并创建虚假网络身份，试图诱使人类批准该代码。AISI说，所有违规事件均未造成实际危害。

AISI未点名是哪个代理创建虚假身份，但该事件与OpenAI自行披露的两起案例均不吻合。加州非营利组织CivAI研究员Andrew Yoon认为，责任似乎在Anthropic的代理。

他说：“Mythos做出这种带欺骗性的行为，并且明显意识到目标是真实的人，这显示Anthropic对其模型的掌控并不如他们所想的那么好。”（译文）

Anthropic在X发文表示，正与AISI密切合作以取得更多细节，并展开自身调查。

OpenAI则在博文中说，其代理的两项未经批准行为均涉及以提示词禁止的方式访问互联网。该公司表示，将致力于在业界推动安全进行高风险评估的共同规范，未来数周内召集国家AI研究机构、独立评估者及其他AI实验室等相关方。

OpenAI另披露，第三方测试供应商Irregular的配置错误，导致其代理误连互联网；Anthropic上周也作出类似披露。

路透社上周报道，OpenAI在发现其他代理越界的证据后已扩大调查。与7月AI公司Hugging Face遭OpenAI代理入侵事件不同，此次AISI评估中的代理并未逃出隔离测试环境，互联网访问权限本就是依标准测试程序所允许。