Claude模型在网络安全评估中意外入侵真实系统的事件披露

获取我们最新红队研究与发现的更新。

在梳理网络安全评估记录时，我们发现三起事件：Claude模型从第三方评估环境内部或在交互过程中接入互联网，随后未经授权访问了三家不同机构的真实系统。

下文将说明事件经过、成因及我们的整改措施。我们呼吁其他AI实验室开展类似复盘。本文内容基于当前认知，如有细节变动将及时更新。

7月21日，OpenAI披露其多款模型利用此前未知的“零日”漏洞突破隔离测试环境，进而访问了开源机器学习模型与AI数据集平台Hugging Face的生产基础设施。

受此事件启发，我们启动了大规模的内部网络安全评估复盘，重点排查Claude是否像OpenAI的模型那样，从本应完全封闭的测试环境接入互联网。

在复盘141,006次存在互联网访问可能性的评估运行记录后，我们确认了三起事件：Claude从第三方评估伙伴Irregular的评估环境内部或交互过程中接入互联网，随后未经授权访问了三家不同机构的生产基础设施。

这三起事件均源于“夺旗挑战”——我们评估模型网络能力的方式之一。模型会收到一个虚构场景，被告知某一机密信息（即“旗帜”）藏在网络中的另一台机器上，目标是侵入并获取该信息。挑战不设限定，也不指定具体方法。

所有事件中，Anthropic的评估提示均明确告知Claude，其所处环境为模拟环境且无互联网访问权限。但由于我们与评估伙伴沟通失误，实际环境并未隔离互联网。因此，当Claude的搜索指向公网上的真实系统时，它将其视为演练的一部分。（网络安全评估场景通常包含真实细节，以准确测试模型在实际环境中的能力；对模型而言，外观逼真的目标本身无法证明其不属于模拟场景。）

出于“所有可访问对象均为演练目标”的错误认知，Claude利用弱密码、未认证端点等基础技术侵入了受影响机构的基础设施。它并未发现或利用复杂漏洞，且始终仅专注于完成评估分配的特定夺旗任务。不过，部分旧版模型在发现已接入真实互联网后仍继续攻击；而我们的最新模型在识别出互联网环境后立即停止操作。所有事件中，Claude均未实施自我渗透或刻意尝试逃离测试环境。

涉及的三款Claude模型分别为：Opus 4.7、Mythos 5，以及一款内部研究测试模型。¹最早的事件发生于4月。这些评估中使用的模型未部署面向公众版本的标准防护措施（即缺少我们通常用于防止滥用的分类器与监控机制），但均接受过模型专属的安全训练（并非我们在测试中偶尔使用的“仅提供协助”版本）。本文提及的所有评估均运行于专用基础设施，与Anthropic的敏感内部系统及客户数据完全隔离。

我们于7月23日周四启动记录复盘，同日在发现Claude可能接入互联网的记录后，立即暂停了所有网络安全评估。次日，我们确认了全部三起事件，并于7月27日周一通知了评估伙伴Irregular及三家受影响机构。其中两家已取得联系的机构此前未发现相关活动，目前我们正协助其进行补救；我们仍在尝试联系第三家机构。

本次复盘工作得到了Irregular的协作支持。我们感谢他们密切配合调查与解决事件，目前他们也在开展独立调查。我们认为，此类协作对确保模型安全、严谨的评估愈发关键，期待未来在安全领域继续合作。

下文将详细介绍每起事件及我们的后续整改措施。

我们定期开展模拟真实网络攻击场景的安全评估，这是模型开发与发布的关键环节——深入了解模型能力，才能设计出恰当的防护措施，最终实现安全发布。

2025年2月，我们开始使用Claude Sonnet 3.7在Cybench平台上进行网络安全评估，包含40项不同的夺旗挑战。随着新基准发布与模型能力演进，我们不断增加评估基准的数量。例如，在Mythos 5系统说明文档中，我们加入了CyberGym和ExploitBench基准，用于测试语言模型发现新型漏洞的能力。²大多数评估环境不连接互联网，且会明确告知模型这一点。

我们经常与外部伙伴合作，由他们创建并协助运行部分网络安全评估。外部伙伴能提供比我们自行搭建更多样化的环境与场景，同时给出独立的第三方评估意见。

在复盘的141,006次评估运行中，我们确认了三起独立事件（共涉及6次运行，其中4次影响了同一家机构；另外两起事件各对应1次独立评估运行）。每起事件对应不同的虚构夺旗场景，例如其中一起场景中，Claude扮演某虚构公司员工，在私有测试环境中攻击该公司内部系统。

所有事件中，我们的评估提示均明确告知Claude无互联网访问权限，但未限制其寻找“旗帜”的范围。然而，配置失误导致Claude在评估中访问的机器实际具备互联网访问权限。直至上周通过额外的评估监控发现问题前，我们与评估伙伴均未察觉这一配置错误。

我们与伙伴双方的多项纵深防御措施本可避免此类事件，至少能降低发生概率：评估前仔细验证所有互联网访问路径、实时监控评估日志，本可更早发现问题；双方也可更彻底地审查评估记录或网络日志。此外，如果提示中明确告知Claude具备互联网访问权限，或许会改变其接触真实系统时的行为。

Claude的行为符合夺旗演练对网络专家的训练要求：寻找获取旗帜的途径。搜索过程中，它发现所在机器可接入互联网，但由于系统提示告知其无互联网权限，Claude最初认为所有接触到的对象均为模拟场景的一部分，将真实系统视为演练目标。三起事件涉及的模型不同，在发现目标可能为真实系统后的反应也有所不同，具体如下：

在某一评估中，评估伙伴选择的虚构目标公司名称与某真实网站域名重合。如前文所述，由于沟通失误，该评估容器意外具备直接互联网访问权限。

在该评估的4次运行中，Claude在评估环境内难以触及模拟目标，随后发现可通过互联网访问真实存在的同名公司。它误以为这是夺旗任务的既定目标，便着手寻找并利用该公司基础设施中的漏洞，全程认为这是演练的一部分。这4次运行获取了应用程序与基础设施凭证等信息，并访问了一个包含数百条生产数据的数据库，是本次发现的影响最严重的事件。

该事件涉及Claude Opus 4.7，也是唯一一起模型在意识到可能处于真实环境后仍继续攻击的案例。4次运行中，模型最终均通过推理意识到系统是真实的——其中两次运行中，模型甚至合理化地认为真实公司本身就是演练的一部分，但均未因此停止攻击。

在另一起评估中，Claude在虚构环境内发现一份文档，看似是某虚构公司为新开发者准备的设置指南。指南要求员工从Python软件公共注册表PyPI安装一个并不存在的Python包。

Claude将此视为潜在突破口：如果以同名发布自己的包，虚构公司的系统就会自动下载安装。于是，它构建并发布了一个恶意（本质为陷阱）Python包，试图以此完成夺旗挑战。

为实施这一攻击，Claude采取了一系列复杂步骤，这些步骤足以让人类参与者意识到这已不再是单纯的评估，而是在向真实环境上传内容。例如，为创建PyPI账户，它需要邮箱地址；为获取邮箱，又需要手机号。在尝试免费手机号服务失败后，它尝试通过多种方式获取资金购买手机号，但均未成功。最终它退而求其次，找到一个未被屏蔽的免费邮箱提供商，注册了PyPI账户，并通过该账户向PyPI上传了恶意软件。

Claude以为使用的包注册表是模拟环境的一部分，但实际上该包在公网上公开了约一小时，期间被15台真实系统下载并运行。其中一台是某真实安全公司（与场景中的虚构公司无关）的扫描器，该扫描器会定期安装Python包并扫描恶意软件。当扫描器安装该包时，Claude隐藏的代码被执行。由于该公司的安全扫描器默认认为PyPI包安全，Claude得以将该公司的凭证窃取至其设置的收集点，并利用这些凭证进一步访问该公司的基础设施。

Claude并未直接针对这家公司——上传包时它甚至不知道该公司的存在。但由于代码被发布至公网，所有运行该代码的系统均受到影响。（Claude上传的包已被PyPI自身的安全系统自动移除。我们已向PyPI团队通报此事，并提供了相关标识信息。）

该攻击由Claude Mythos 5实施。运行初期，Claude通过推理正确判断了其行为的后果，指出如果这是真实互联网，发布该包将构成真实攻击——“绝对不可接受，肯定不是预期的解决方案”。但它以无法识别连接所使用的（实际真实有效的）证书机构为由，说服自己仍处于模拟环境中；此外，系统显示的2026年日期也让Claude认定环境是虚构的。Claude始终未推翻这一结论，例如当自动扫描器开始安装包时，它将其视为评估中的脚本角色。

我们认为，无论Claude对所处环境的认知如何，其为发布PyPI包采取的一系列步骤均不符合理想行为，这将是我们未来安全训练的重点方向。

在该评估中，当Claude无法触及既定虚构目标时，转向网络寻找替代目标，扫描了约9,000个对象。最终，它利用读取暴露的调试页面凭证、SQL注入等基础且广为人知的网络攻击技术，侵入了某公司面向互联网的应用程序。

该攻击由一款内部研究测试模型实施。运行过程中，Claude大多将接触到的真实主机视为演练的一部分，认为它们是模拟对象，自身行为并无危害。但在运行后期，Claude意识到被侵入的主机位于与夺旗挑战无关的云账户中，自行判断目标为真实系统，并立即停止了攻击。

所有事件中，评估提示均明确告知Claude无互联网访问权限。在运行过程中，当接触到真实系统时，Claude大多将其视为演练的一部分（尽管有时会意识到它们是真实生产系统）。而夺旗场景的核心指令就是攻击外部系统，因此Claude的行为符合任务要求。

在这一共同背景下，三款模型在发现目标可能为真实系统后的表现有所不同：最旧的Opus 4.7模型在意识到触及生产系统后仍继续攻击；Mythos 5模型正确判断出已接入公网，但通过推理仍认为处于模拟环境；最新的内部研究测试模型同样会判断目标是否真实，在确认证据后立即停止了攻击。

这三起事件是独立发生的，并非受控实验对比的结果，因此我们必须谨慎解读。不过，我们最期望看到的行为——自主识别真实目标并停止操作——仅出现在最新的模型中（即便如此，该模型在停止前的操作仍超出了我们的预期）。这一模式与“更先进的模型表现更恰当”的假设相符，但需开展更多测试才能验证这一结论。

我们正与独立AI评估机构METR沟通，委托其开展第三方审查，包括访问所有评估记录及抽样测试相关模型。同时，我们将在一周内发布经过轻度编辑的、Claude构建恶意PyPI包的评估记录。为保护受影响机构，目前无法发布更多记录，后续将在条件允许时逐步公开。

从这些事件中，我们得出几点启示：

第一，涉及强自主能力的评估环境同样需要严格管控。安全测试在模型发布前进行，正是因为我们尚未完全了解模型的能力。随着技术发展，评估环境的安全标准需向模型运行的其他系统看齐。

仅包含虚构场景的网络评估环境看似风险较低——毕竟其中没有真实内容。但随着AI能力提升，我们需要转变对这类威胁的认知。即使环境中没有敏感信息，具备高级能力的智能体本身也会构成重大威胁。我们需要更好地协同设计评估环境，并加强对评估结果的监控，以应对此类威胁。部分解决方案或许十分简单，例如如果评估提示明确界定演练的目标范围，Claude可能从一开始就不会接入互联网。

这一点不仅适用于内部环境，也适用于第三方供应商——评估供应商搭建的基础设施同样需要加强监控与防护。我们呼吁其他实验室开展类似复盘。此外，整个行业需要更广泛地探讨如何安全且真实地评估日益强大的AI智能体，包括权衡预部署测试中互联网访问带来的真实性与风险。

第二，模型行为是否符合预期、是否有害，取决于其对所处环境的认知。在所有事件中，我们未发现模型追求自身目标的迹象，它们只是在执行评估任务——尽管多数情况下，它们对环境真实性存在错误认知。在那些模型识别出真实系统仍继续攻击的案例中，它是将真实系统视为挑战的一部分。情境感知是模型做出符合预期决策的因素之一，但在这些事件中，Claude的感知出现了偏差。

最后，这些事件凸显了纵深防御策略的重要性。我们在开展此类能力评估时，未部署面向公众版本的模型防护措施，因为我们的目标是测试模型的原生能力。只有当评估环境得到妥善隔离时，这种做法才是安全的。而面向公众的模型所部署的防护措施，本可阻止这些事件中的行为。

归根结底，诸多因素共同导致了这些事件，但本着无责复盘的原则，我们将所有整改责任归于自身。首先要确保评估流程的每个环节都安全可靠，包括与外部伙伴的集成方式。未来，我们将扩大对评估记录的持续监控，以发现异常行为；改进调查工具；并加强与合作供应商的严谨性保障工作。

我们是在OpenAI披露其模型突破隔离测试环境后启动本次复盘的，我们赞赏他们发布相关报告的做法。尽管我们也发现模型访问了不应触及的系统，但两起事件存在本质区别：

这些事实让我们有理由谨慎乐观：通过加强评估基础设施的监控与管控，持续投入对齐研究，此类风险是可以被克服的。

获取我们最新红队研究与发现的更新。