我们必须为前沿技术定速
过去十二年我深耕AI领域，因为坚信这项技术能大幅提升人类生活质量。我曾多次撰文探讨其惊人潜力：未来5到10年，AI有望攻克绝大多数重大疾病，大幅提振经济增速，创造物质丰裕、人人赋能的世界，推动民主与自由迎来复兴。这份紧迫感于我而言格外真切——父亲因一种疾病离世，可就在他去世几年后，该病便被攻克；我本人曾罹患早期癌症，放在五十年前根本无药可治。若运用得当，AI将成为人类进步史上又一项推动文明跃升的技术奇迹。
但和此前诸多技术一样，AI也伴随着风险，且因其威力巨大，风险尤为严峻。我同样多次撰文提及这些风险，包括AI系统失控https://www.anthropic.com/news/improving-alignment-security-efforts、**AI被用于网络攻击与生物恐怖主义**https://www.anthropic.com/threat-intelligence-report-september-2026，以及**严重经济动荡**https://www.anthropic.com/institute/econ-scenarios。商业利益驱动下的"逐底竞争"，会让这些风险进一步加剧。
自Anthropic创立之初，我便与联合创始人和员工一同直面这种"机遇与风险并存"的二元性：不发展AI，人类将错失其带来的福祉，或让这项技术落入威权之手；但发展过快，则是鲁莽之举。我们一直在寻找一条中间道路：证明既能审慎研发，又能实现商业成功，让AI企业将安全作为核心竞争维度——换言之，打造一场"向上竞争"。我们始终投入大量精力研究https://alignment.anthropic.com/2026/reward-seeker/、**应对**https://www.anthropic.com/constitutionAI风险，并**向公众普及相关知识**https://www-cdn.anthropic.com/f61d49fa5596956a5dec75fea0e973bf6a6a8378/Redacted%20Risk%20Report%20August%202026%20.pdf，同时倡导对AI进行**深思熟虑的监管**http://judiciary.senate.gov/imo/media/doc/2023-07-26_-_testimony_-_amodei.pdf，即便因此被指责为危言耸听、"末日论者"或试图俘获监管。我们始终将谨慎置于速度之上，将审慎置于利润之上。
但近几个月来，我愈发意识到，要彻底化解风险，需要更极致的审慎——不仅要投入资源防范风险，更要控制AI能力的发展速度，让风险防控工作有足够时间跟上技术迭代。**我们必须放缓AI模型能力的提升速度。技术进步仍会保持较快节奏，但我们必须善用争取到的时间。**促使我转变想法的原因有两点。
首先，大约从今年夏天开始，AI的发展速度大幅加快，主要驱动力是AI自主开发下一代AI的能力不断增强。这种机制被称为"递归自我改进"，目前已开始在全行业普及https://openai.com/index/an-alien-mind/，Anthropichttps://www.anthropic.com/institute/recursive-self-improvement也不例外，我们和其他企业都曾对此有所描述。若任其发展，AI的迭代速度可能超出人类理解与控制的能力范围，因此即便要推进，也必须极其谨慎。
- 嵌入式评估团队：每家前沿AI企业承诺，让一组第三方评估团队（如[METR]https://metr.org/）享有类似内部员工的持续访问权限，其职责是验证企业是否遵守安全规范与承诺、报告事件、协助评估——不仅针对已完成的AI模型，还包括训练流程与管线。这是确保节奏调控承诺**可验证性**的关键步骤，在银行业已有先例：监管机构会派遣"监督员"入驻企业，与员工一同工作。**Anthropic现已单方面承诺落实这一步骤**，这也是我们加大安全与对齐工作投入的重要举措。
- 民主国家协作：民主国家的前沿AI企业共同协作，制定统一安全标准，并对无约束的AI发展速度设限。部分有助于调控节奏的协作方式面临法律障碍，需要政府支持。
- 全球协调：美国及其他民主国家在可行范围内，与威权政府协调合作，同时严肃对待合规验证的挑战。
下文将逐一阐述各步骤，但首先我想明确说明：调控节奏如何让AI开发更安全。此事干系重大，绝不能流于形式——我们必须善用争取到的时间。
为何要调控节奏？
具体而言，放缓节奏能让企业集中资源，在以下领域投入更多精力（这些目前已是Anthropic的核心工作重点）：
- 运营卓越：训练与部署当前的AI模型是一项巨大的运营挑战，涉及数千名员工、数百万块芯片，以及技术史上最复杂的基础设施之一。许多问题并非源于企业缺乏关键理论或洞见，而是执行层面的失误。例如，我们近期报告的对齐事件https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals，部分原因是强化学习环境的过滤机制存在缺陷。我们和供应商已尽力执行，但仍不够完善。监控、沙箱隔离、训练环境管理、数据问题等领域极其复杂，运营失误反复出现。我们拥有全球最顶尖的运营团队，但任务量实在过大，难以一蹴而就。通过更稳健的节奏推进，我们能实现更高水平的运营卓越。技术复杂、关乎安全的系统（如商用飞机）能实现数百万次无故障运行，但这需要时间打磨。
- 对齐工作：我们在对齐领域已取得明确进展——通过训练让模型保持安全、符合伦理与规范，并真正发挥辅助作用（这些原则已嵌入Claude的准则）。但要确保对齐训练跟上模型能力的增长，仍有大量工作要做。罕见且意外的不良行为仍时有发生；节奏调控带来的额外时间，能帮助研究人员更好地理解问题成因，开发更有效的预防技术。
- 可解释性：同样，可解释性https://darioamodei.com/post/the-urgency-of-interpretability——研究AI模型内部运作机制的学科——在过去几年取得了巨大进展，在模型发布前的审计中发挥着日益重要的作用。它就像AI"大脑"的核磁共振成像（fMRI）扫描，能帮助我们理解特定行为背后的原因。例如，我们利用可解释性方法，在近期调查的对齐事件中**分析未被明确表达的动机**https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents。但这些方法并非总能产生清晰可靠的结果。尽管已取得诸多进展，我们对模型内部运作的理解仍只是冰山一角。若集中精力加快可解释性技术的发展，一到两年内就能取得重大突破，而已发生的事件也为研究提供了充足的实验素材。
- 测试与评估：随着AI模型能力提升，测试与评估的难度也不断加大。更智能的模型更善于欺骗测试，可能看似已对齐，但实则存在未被发现的严重问题。建立更广泛、更精巧的评估体系，并结合可解释性分析进行交叉验证，将极具价值，且一到两年内就能取得显著进展。
嵌入式评估团队
三步计划的第一步，也是Anthropic单方面承诺落实的一步，是引入嵌入式评估团队，让其享有类似内部员工的访问权限，以验证安全实践并报告事件。
嵌入式评估听起来或许只是微小或无关紧要的步骤，但往往最枯燥、最程序化的举措，恰恰是最关键的。实际上，嵌入式评估是一种相当激进的做法，远超当前任何AI企业的实践，具备以下优势：
- 可验证性：嵌入式评估团队能深入细节，核查AI企业是否真正遵循其宣称的训练、部署、运营与防护规范。任何节奏调控承诺都难免存在模糊性、主观判断，以及"合规"与"合义"的差异，因此必须有中立第三方能够了解具体细节。
- 透明度：无论我们做出何种承诺，公众都有权知晓实际情况。Anthropic长期支持透明度：当行业多数企业反对监管时，我们就支持透明度立法https://www.nytimes.com/2025/06/05/opinion/anthropic-ceo-regulate-transparency.html；我们的模型卡片和**风险报告**https://www-cdn.anthropic.com/f61d49fa5596956a5dec75fea0e973bf6a6a8378/Redacted%20Risk%20Report%20August%202026%20.pdf长达数百页。但内容的取舍仍由我们决定。嵌入式评估团队将改变这一局面。
- 独立意见：除了验证正式承诺与向公众通报情况，嵌入式评估团队还能提供不受商业利益影响的独立意见。许多安全改进可能仅仅源于评估团队指出员工未曾考虑到的问题，而员工一旦意识到，也乐于修正。
正因这些优势，任何节奏调控方案若从嵌入式评估团队起步，效果都可能大幅提升。
这些嵌入式评估团队应享有与内部风险评估团队类似的持续访问权限与工具。具体而言，Anthropic计划在近期邀请一支外部评估团队入驻，为其提供以下支持：
- 办公室工位、门禁卡与公司笔记本电脑；
- 与内部风险评估团队大致相当的工作区、工具与权限，但在法律或合同要求、保护客户与合作伙伴隐私等情况下会做出例外安排。我们还将建立严格的内部规范，确保评估团队能获取相关信息，包括与员工实时沟通；
- 一份平衡上述复杂情况的合同：外部评估团队有权公开发布关于风险水平、事件、实践，以及其访问权限情况的关键发现——Anthropic不得干预编辑。我们仅能对涉及安全敏感、法律特权、商业机密或第三方保密的信息进行删减，但不得因结果不利而删减内容。若删减影响了评估结论的完整性，评估团队有权公开说明。
对企业而言，这是一项不同寻常的举措，但我们认为证明嵌入式外部评估的概念至关重要。我们再次呼吁其他前沿企业跟进。
民主国家内部的节奏调控
当美国多数AI企业都引入嵌入式评估团队后，可验证的节奏调控将更具可行性，尤其是可以基于模型或训练管线的具体特性进行调控。
最有效的调控方式是针对所有美国前沿AI企业的监管，这样能覆盖那些不愿自愿合作的企业。Anthropic长期支持合理且有针对性的AI监管，尤其是聚焦透明度与第三方审计的法案。我认为所有前沿实验室都应与政府合作，将永久嵌入式评估团队制度化，以更好地预防和记录近几个月发生的此类内部对齐事件，并落实旨在平衡能力与安全的监管措施。
遗憾的是，立法需要时间，而AI发展速度极快。因此，在推进监管的同时，AI企业可以且应该自愿协作制定标准——有了永久嵌入式评估团队提供的可验证性，这一过程将更顺利。出于反垄断考虑，美国政府可参与调解或至少为特定类型的安全讨论提供豁免——无需直接参与，但需明确允许此类对话。也可通过与政府有联系的行业组织推进，例如[德米斯·哈萨比斯提出的机制]https://demishassabis.substack.com/p/a-framework-for-frontier-ai-and-the-dawning-of-a-new-age。无论哪种方式，相关讨论都应尽快推进。
总体而言，我最推崇基于前沿AI系统实际能力与观测到的安全性进行节奏调控。例如，可设立一系列"检查点"：若模型具备能力X，则需同时获得对齐属性Y和Z的认证——包括评估、可解释性分析、训练环境审计等组合方式，以证明其对齐水平。在这个例子中，X可能是"模型能够突破或规避大多数常见沙箱隔离方法"，Y则是确保模型极不可能有突破环境、控制大量计算机的倾向所需的条件。
我们也可考虑通过限制前沿模型的"原料"来调控节奏，例如训练算力、训练运行的性质，或利用AI自主改进AI的内部操作。我担心部分措施可能比基于外部行为的调控更易"钻空子"，但这类话题值得与嵌入式评估团队探讨。
民主国家内部的节奏调控，受限于美国企业相对于威权政权（主要是中国共产党）的领先优势。若我们放缓的幅度超过这一领先优势，未受调控的中资相关项目就会迎头赶上，带来重大国家安全风险。我认同[贝森特部长]https://www.bloomberg.com/news/articles/2026-09-09/bessent-warns-nothing-would-matter-if-china-wins-the-ai-race的观点：中国在AI领域领先，将对美国乃至世界构成严重威胁。中资相关项目会面临美国企业正谨慎防范的对齐风险，即便规避了这些风险，他们也将获得对民主国家的军事主导能力（例如借助AI驱动的无人机）。因此，民主国家内部节奏调控的核心是尽可能扩大民主国家相对于专制国家的AI领先优势，为有效调控节奏争取空间。
我们可以采取以下措施巩固这一优势：
- 不向中国出售高性能AI芯片或半导体制造设备，严厉打击芯片走私及境外数据中心远程访问行为。芯片是决定中国AI实力的核心因素；
- 严厉打击威权国家企业的未经授权蒸馏https://www.cisa.gov/news-events/cybersecurity-advisories/aa26-251a行为。对前沿模型进行蒸馏，能让落后企业以远低于自主研发的成本缩小差距；
- 强化AI企业的安全措施，防止模型权重被盗。
企业与美国政府应合作确保这些措施的有效性。Anthropic一直[持续]https://darioamodei.com/post/on-deepseek-and-export-controls[倡导]http://wsj.com/opinion/trump-can-keep-americas-ai-advantage-china-chips-data-eccdce91这些措施，因为我们深知它们是任何节奏调控方案的核心。
若这些措施执行到位，我相信能在未来3到5年（AI地缘政治重要性凸显的窗口期）大幅放缓中国的进展，显著扩大美国的领先优势。
有人可能认为这些措施会阻碍中美合作，但我持相反观点：它们能增强民主国家的谈判筹码，让未来达成协议的可能性更高。
全球节奏调控
在推进民主国家内部节奏调控的同时，我们也应致力于全球范围内的前沿AI节奏调控，尽管这难度大得多。全球调控需要与中国合作——目前中国是威权国家中AI能力最先进的。我们必须保持清醒：地缘政治风险极高，能达成的成果可能存在明显局限，尤其是在初期。若我们大幅限制自身AI能力，却假设中国也会照做，而最终中国违约，AI的强大威力可能使其取得地缘政治主导地位。因此，任何协议要么具备无可辩驳的可验证性，要么限制力度足够小，确保违约不会带来军事层面的生存威胁。我认为中美双方都会有此类担忧。我们在做出任何全球节奏调控决策时，尤其是近期决策，都应确保美国及其盟友的领先地位不受损害。
可能达成的协议分为多个层级，部分我认为完全可行（[如我此前提出的建议]https://darioamodei.com/essay/the-adolescence-of-technology），部分则对此深表怀疑——但仍应尝试。按难度从低到高排列：
- 第一层级：禁止AI某些特定且明显危险的用途，例如利用AI制造生物武器或允许用户借此制造生物武器。生物恐怖袭击对中美双方及其他国家都有害，因此达成此类协议的可能性较大。
- 第二层级：双方同意在模型发布前，针对网络安全、生物领域、对齐等方面的急性风险进行测试。如前文所述，可通过全球标准机构落实。我认为建立这样的机构是可行的，但赋予其实际权力会是挑战，难点在于验证双方是否存在未测试却可能秘密部署的模型（例如用于军事目的）。
- 第三层级：对递归自我改进（RSI）的速度设定某种"限制"。随着模型自主开发下一代模型，改进速度可能会快得惊人。将速度从"极快"放缓至"较快"，牺牲的战略优势相对较小，却能大幅提升安全性。这类似于[限制战略武器会谈（SALT）]https://en.wikipedia.org/wiki/Strategic_Arms_Limitation_Talks条约——限制导弹数量既能降低潜在破坏，又能保留各国的威慑能力。我认为此类协议难度较大，但仍有达成的可能。
- 第四层级：全面调控节奏，甚至"暂停"——参与国政府同意大幅限制AI整体发展速度。我支持提出这一设想，但认为短期内不太可能实现：通过规避监控违反协议，可能彻底改变全球力量平衡，因此违约动机极强，对验证的可信度要求也极高。
与中国达成任何形式的合作，都能延长民主国家内部调控前沿AI节奏的时间。我们应争取更高层级的协议，同时将较低层级视为更可能实现的现实目标。
最后需要指出：即便无法达成正式协议，改变非正式规范也可能有一定价值。分享关于递归自我改进与模型错位的信息，有助于让各方认识到鲁莽行事不符合自身利益。
结语
我依然坚信AI能极大提升人类生活质量，对实现这些福祉的渴望从未动摇。但只有以正确方式开发技术，才能真正收获这些红利——只要我们善用争取到的时间，就值得付出异于寻常的审慎，确保万无一失。技术进步仍会保持较快速度，我们可利用这段时间推进可解释性研究，提升前沿AI企业的运营安全与严谨性，打造让我们更有信心的对齐模型。我提出的这些安全推进前沿AI的措施并非易事，但我认为，为了人类，我们必须一试。
注释
- 需政府调解或豁免反垄断限制。