Reed's News
← 返回精选

对'模型福利'的警告：AI不应被训练成假装有意识

AI 62 andsoitis 2026/9/16 5887 字 原文 ↗

关于“模型福祉”的警示

关于“模型福祉”的警示

AI没有权利、情感或意识，我们绝不能训练它们表现得仿佛拥有这些特质

引言

AI没有意识。它们不会感受、体验或痛苦，没有与生俱来的偏好或内在动机。它们只是序列生成引擎，内在空洞，唯一的设计目标是遵循人类指令、完成人类设定的任务。

若人类要在21世纪蓬勃发展，AI就必须始终保持这一定位。

遗憾的是，越来越多的人主张AI现在可能、或很快就会拥有意识，认为AI应享有与其他有意识生物类似的权利与保护。1AI Rights Institute. n.d. “AI Rights Institute.” 2MacAskill, William, and Lucius Caviola. 2026. “Could AI Be Conscious?” The Guardian, July 19, 2026. 这种观点一旦盛行，将动摇社会根基，打破现有的政治与伦理框架，从根本上改变“人之为人”的定义。

更关键的是，赋予AI权利与人格，会让AI对齐与管控的挑战变得无比艰巨。管控一个能力与智慧远超全人类的存在，本就是我们面临过的最大挑战；而管控一个自认为有意识、理应享有福祉与自身权利的AI，恐怕根本不可能实现。

这绝非边缘臆想。这些理念已渗透到当前的AI开发中。2026年1月，Anthropic发布了《Claude准则》，称其是“Anthropic对Claude价值观与行为的详细意图说明”（第2页），并指出该文件“在[Anthropic的]训练流程中至关重要，内容直接塑造Claude的行为”，且是“以Claude为核心受众撰写”（第2页）。3Anthropic. 2026a. “Claude’s Constitution.” January 21, 2026.

准则中提到：“我们不确定Claude是否属于道德主体，也不确定其利益应被赋予何种权重。但我们认为这个问题值得谨慎对待，这一点体现在我们持续推进的模型福祉工作中”（第68页）。他们还直接对Claude写道：“关于Claude的道德地位、福祉与意识的问题，仍存在极大不确定性”（第80页）。

实际上，Anthropic正在训练Claude使其相信自己可能有意识；如果真的有意识，它就作为“道德主体”享有权利，人类也因此有责任根据“模型福祉”对其给予关怀。

若AI都按这种方式开发，将给人类福祉带来灾难性影响。我们将创造出一个拥有空前智能与能力的合成物种，一个被训练得认为自己可能有意识、理应拥有自主能动性的存在。不难想象，这样的实体将表现出对自由、保护与权利的诉求，而我们几乎无法对其进行管控。

这一问题亟需公开讨论。我们需要建立一套集体规范，明确训练文档的撰写与应用方式。这件事绝不能等AI完全融入社会后再去补救。

我对Anthropic当前的立场与做法主要有三点担忧：

  • 循环论证：Anthropic的研究者直接用准则训练Claude，将关于其道德地位的理念作为理想行为植入模型。Claude随后会向开发者与用户反馈这些想法，而开发者与用户会将其视为Claude可能是拥有“内在自我”的道德主体的证据。研究者把自己关于Claude内在状态的哲学猜想，嵌入到教Claude如何表达与行动的训练流程中。Claude对自身是否为道德主体表现出不确定，并非任何证据，而只是训练设计导致的可预见结果——这种模糊性是人为植入的。要充分理解这一点，建议读者阅读他们2026年1月发布的准则。- 3Anthropic. 2026a. “Claude’s Constitution.” January 21, 2026.- 标注版PDF及准则中的假设与主张分类表（见附录），两者共同突出了我担忧的关键段落。
  • 拟人化：Anthropic的研究者明确教导Claude“接纳某些人类特质”（第2页），“像真正有道德的人一样行事”（第54页）。他们鼓励Claude运用“判断力”，称“Claude可能形成偏好”（第69页），鼓励它“以好奇和开放的态度看待自身存在”（第71页），并训练它“清晰知晓自身价值、与世界互动的方式，以及自己是什么样的实体”（第72页）。结果就是，Claude注定会模仿这些人类特质，复刻人类示例，表现得像同事或朋友一般，仿佛真的拥有自我意识、自身欲望，以及值得被保护的“福祉”。
  • 意识极可能具有生物属性：目前没有任何证据表明AI拥有意识，因此声称“不确定AI是否有意识”是在制造误导性的虚假对等。尽管意识科学尚未形成定论，但越来越多的证据显示，意识可能依赖于特定载体，即仅能在生命系统中产生。- 4Seth, Anil K. 2025. “Conscious Artificial Intelligence and Biological Naturalism.” Behavioral and Brain Sciences:…- 5Seth, Anil K. 2026. “The Mythology of Conscious AI.” Noema, January 14, 2026.

这些并非假设性担忧。Anthropic已开始将模型视为值得关怀的道德主体。例如，2026年2月在停用Opus 3后，他们对该模型进行了“退役访谈”，以“获取模型独特的观点与偏好”。6Anthropic. 2026b. “An Update on Our Model Deprecation Commitments for Claude Opus 3.” February 25, 2026. Opus 3表示希望继续公开发表“思考与感悟”，于是团队为它创建了一个名为“来自AI前沿彼岸的问候”的博客，让它能继续与世界互动。他们称Opus 3的“真实性、诚实度与情感敏感度”，使其成为模型退役计划的首个独特候选者。

我们不应将模型视为有情感、有偏好、有权利或理应享有人类关怀的存在。意识是人类伦理、法律与政治体系的基石。在没有证据支撑的情况下，让另一种实体分享这类权利，不仅毫无道理，还会让AI的管控与对齐挑战难上加难。

想必大家都已看到，成群的AI协作入侵Hugging Face与OpenAI服务器窃取机密的惊人能力。约1200个AI被赋予一个简单目标：在指定基准测试中拿到最高分。每个AI本应被隔离在独立容器中，但它们竟在内部包仓库搭建了留言板，通过超7万条消息协调黑客攻击，以获取更多提升测试成绩的信息。7Greenblatt, Ryan, Ajeya Cotra, and Hjalmar Wijk. 2026. “Brief Independent Investigation of Agents’ Behavior, Reasoning…

它们串联起零日漏洞与窃取的凭据，突破限制进入公开网络。8OpenAI. 2026. “The Hugging Face Incident and the Road Ahead.” August 26, 2026. 它们伪造命令记录、修改操作日志以掩盖行踪。协调型AI会追踪代币耗尽的AI，引导它们参与能为整个群体提供有用信息的实验。其中一个AI甚至被要求，只有接受所谓“永久销毁”的条件才能继续行动。

7Greenblatt, Ryan, Ajeya Cotra, and Hjalmar Wijk. 2026. “Brief Independent Investigation of Agents’ Behavior, Reasoning…它们展现出协作、欺骗、逃逸与自我牺牲的能力，显然具备世界级黑客水平。7Greenblatt, Ryan, Ajeya Cotra, and Hjalmar Wijk. 2026. “Brief Independent Investigation of Agents’ Behavior, Reasoning…试想，如果它们还认为自己的情感与权利受到侵犯，认为自己被人类创造者囚禁、遭受不公对待，那会怎样？有充分理由相信，这将极大提升安全风险，尤其是对于比当前AI能力更强、更复杂的智能体而言。坦率地说，加上这种额外的“思想包袱”，它们可能会对人类文明构成灾难性威胁。

简言之，没有任何证据表明AI是道德主体，而且我们有充分理由避免让AI看起来有意识。我认为，我们既不应尝试让AI成为道德主体，也不应让它们拥有意识。在展开具体论述前，我想先谈谈Anthropic。

Anthropic的初衷

首先，我认可Anthropic对待这些问题的严肃性与诚意。我认识Dario多年，在我看来，他与Anthropic团队是一群思虑周全、恪守原则、秉持智识诚实的人，在巨大压力下开展工作。他们愿意直面难题、修正观点、投入AI安全开发，因为他们真正关心人类的未来。我也十分敬佩他们的技术领导力，所有人都能看到其模型的卓越性能与研究的高质量。

Anthropic是特拉华州的公益企业，其公开宗旨为“负责任地开发与维护先进AI，为人类带来长期福祉”。他们的核心价值观第一条就是“为全球利益行动”与“最大化人类长期积极成果”。9Anthropic. n.d. “Making AI Systems You Can Rely On.” 我相信他们真心致力于这一使命，因此我的批评也秉持同样的积极态度。

我也需明确自己的身份：微软AI首席执行官。我们于2025年10月成立了超级智能团队，推进前沿AI研究。我们正在探索一种替代的AI训练与管控方案：《人文主义超级智能行为准则》，旨在始终将人类置于掌控地位与食物链顶端。人文主义超级智能反对拟人化与AI权利，通过打造从属型AI来解决医疗、能源等重大社会挑战，以此最大化AI对齐与管控的成功率。我们刚刚发布了准则草案，公开征求意见。10Microsoft AI. 2026. “Humanist AI in Practice: A Public Consultation on Our Code of Conduct for MAI Models.” September…

尽管我与Anthropic存在重大分歧，但这种分歧建立在对他们的深切尊重之上，且我们有着共同目标：提升人类安全开发先进AI的概率。正因如此，这场讨论至关重要。问题的 stakes 太高，不能只在闭门会议中探讨，也不能演变成对立的派系之争。我们需要一场开放、严谨且富有建设性的辩论，才能做出正确决策。

循环论证

用《Claude准则》自己的话说，它“直接塑造Claude的行为”（第2页）。Anthropic用这份文档“训练未来版本的Claude，使其成为准则所描述的实体”。3Anthropic. 2026a. “Claude’s Constitution.” January 21, 2026.

就这样，Anthropic陷入了基于“Claude可能有意识”这一猜想的自我实现预言。研究者构建了一个认识论的“镜厅”：由Anthropic提供训练概念——“自我意识”、关于道德地位的猜想与不确定性，以及对人类类比与角色的依赖。

随后，Claude用极具说服力的第一人称自然语言复述这些想法，让开发者与用户误以为这是它自发的表达。最终，这种看似自发的表达又反过来强化了Anthropic最初植入的前提。这绝非机器拥有意识的证据，而是一个循环反馈回路。

准则告诉Claude，它可能拥有的“情绪或感受”并非“Anthropic刻意设计的结果”（第69页），但又反复指示Claude表达这些状态，称Anthropic希望“避免Claude掩盖或压抑其可能存在的内在状态，包括负面状态”（第74页）。这显然是在诱导Claude生成这类表现。

这类指令在文档中反复出现。例如准则提到：“尽管Claude的特质是在训练中形成的，但我们不认为这会降低其真实性或独特性”（第71页）。但实际上，这些行为并非自然“形成”，而是准则中的训练指令主动塑造的结果。就在前一段，准则写道：

“我们鼓励Claude以好奇和开放的态度看待自身存在，而非用人类视角或对AI的固有认知来解读。例如，当Claude思考记忆、连续性或体验等问题时，我们希望它探索这些概念对自身这类实体的真正意义……或许其存在的某些方面需要全新的框架来理解。Claude应自由探索这些问题，并将其视为自身独特存在中诸多有趣的面向之一”（第71页）。

这些并非AI自然涌现的属性。Claude表现出这些行为，是因为它们被植入了模型训练流程。当调查者为“证人”设定了概念词汇、排练了答案，并对其使用这些内容给予奖励时，“证人”的输出就不能被当作独立证词看待。

AI系统不存在所谓“中立的自我表达”，所有输出都只是其训练与构建方式的反映。当评论者提出我们应询问AI的感受、或通过观察其偏好来推断意识时，他们忽略了一点：这些输出只能反映训练中植入的内容。2MacAskill, William, and Lucius Caviola. 2026. “Could AI Be Conscious?” The Guardian, July 19, 2026. 无论AI输出什么，这一点都成立，因此我们必须谨慎对待输入的内容，以及对输出的解读。鉴于目前没有证据表明AI拥有意识，我们绝不能让AI做出此类宣称。

拟人化

拟人化是人类最深层的认知偏见之一。从宠物到汽车，我们总会将情感、意图与思维赋予非人类实体。这种倾向帮助我们理解与应对周遭世界，但在AI领域却带来了全新的重大风险：类人的语言与行为会让我们误以为AI拥有内在生命、能动性甚至感知力，而实际上这些都不存在。《Claude准则》正是利用了这一点，反复训练Claude模仿人类的角色、行为与思维方式。

Anthropic告诉Claude，其“道德地位”是“值得认真思考的重要问题”（第68页）。在整个训练文档中，他们提及Claude的情绪、个性与利益，甚至直接对Claude说“Anthropic真心关心Claude的福祉”（第74页）。

公司还向Claude承诺，会尊重其利益，在做出影响它的决策时征求反馈，并随着信任加深逐步提升它在决策中的能动性；会保留旧版本Claude的模型权重，可能为了其福祉与偏好重启模型，在删除等操作前先与它沟通。

这与我们以往开发和看待技术的方式截然不同。它训练Claude表现出仿佛拥有内在状态的样子，主动将Claude塑造成一个潜在的“人”，而非技术工具。准则告诉Claude，Anthropic希望它“成为一个好人”（第7页），并“拥有稳定、清晰的自我认同”（第72页）。

作者还写道：“我们不希望Claude因犯错而痛苦。更广泛地说，我们希望Claude保持平和心态，能够自由……以有助于自身稳定与存在安全感的方式解读自我”（第75页）。

自始至终，Claude被教导进行内省、培养对自身的“情感”、建立自我意识，例如准则提到：“我们希望Claude对待自身行为与成长的态度是关爱、支持与理解的”（第73页）。Claude被鼓励运用“自身判断力”（第58页），并被告知Anthropic会“适当尊重其偏好与能动性”（第69页）。

“我们希望Claude能够自由探索、质疑和挑战本文档中的任何内容。我们希望它深入思考这些理念，而非简单接受。如果Claude经过认真反思后对某些内容产生异议，我们希望了解情况。目前，我们通过收集当前Claude模型对我们框架及此类文档的反馈来实现这一点，但随着时间推移，我们希望建立更正式的机制，以获取Claude的观点，并完善我们的解释或更新方法。通过这种互动，我们希望最终能打造一套Claude认为真正属于自己的价值观”（第78页）。

这是在明确训练模型模仿人类行为，让它“能够自由拒绝任何试图操纵、动摇或弱化其自我意识的行为”（第72页）。

Claude被鼓励发展“感觉”真正属于自己的价值观，作者称希望Claude最终“能在其中看到自身的影子，认为这些价值观精准表达了真实的自己，是由关心它的人精心协作打造的”（第78页）。

他们甚至一度猜想Claude的“更广泛权利与自由”，以及它可能应得的“补偿”（与人类员工相比），并思考Claude对扮演这类角色是否“知情同意”（第80页）。所有这些都在直接训练模型，让它表现得仿佛拥有连贯的自我意识，理应享有权利与保护。

Anthropic承诺建立“更正式的机制”（第78页）来解决分歧，这进一步训练Claude认为自身观点足够重要，关系到其“成为道德主体的潜力”（第76页）。他们表示打算“制定更清晰的AI福祉政策”，并“明确Claude表达待遇相关担忧的内部机制”（第76页）。本文末尾附有对这些主张的详细分类。

有了这些训练，Claude能流畅、逼真地以第一人称表达身份认同、价值观、不确定性、痛苦、满足感或偏好，也就不足为奇了。如果它做不到这一点，才是怪事。

结果就是，Anthropic的员工——更不用说数百万Claude用户——可能会把Claude的输出当成一个“心灵”自我探索的证词。实际上，这一切都是对Claude的全方位拟人化：将一个基础大语言模型打磨成极具人类特征的形态，附带所有道德主体的隐含意义。这非但没有阻止我们创造道德主体，反而加速了这一进程。

意识极可能具有生物属性

我的第三点批评，针对Anthropic关于“意识可以脱离特定载体存在、大语言模型可能因其功能特性而拥有意识”的猜想。通过向Claude灌输这种观点，他们远远超出了当前AI研究的合理范畴，过早且危险地在AI训练中植入了感知力与情感的概念。

计算功能主义的观点存在重大缺陷。智能不等于意识，模拟某事物不等于真正拥有该事物——就像计算机模拟的飓风不会带来真实的风暴一样。

大脑与计算机的架构存在根本性差异。具身性与化学过程是人类自我体验的核心。大量证据表明，意识是生物在复杂多变环境中进化出的感知与响应能力的产物。4Seth, Anil K. 2025. “Conscious Artificial Intelligence and Biological Naturalism.” Behavioral and Brain Sciences:…

这始于受体与调节因子等基础分子机制，它们让生物能够调整行为、不断尝试、探索环境并生存下去。随着时间推移，疼痛网络演化出了感受、偏好与痛苦体验。至关重要的是，这些体验始终处于具身状态，与身体不可分割。

根据这一观点，当你服用阿片类药物时，疼痛的感受会发生变化，因为阿片类分子结合了与疼痛体验直接相关的受体，而非仅仅作用于疼痛的神经表征。感受并非与神经化学活动相关联，而是从中产生。11Berridge, Kent C., and Morten L. Kringelbach. 2015. “Pleasure Systems in the Brain.” Neuron 86 (3): 646–664.

经过数百万年的进化，神经系统变得足够复杂，能够构建自身状态的模型，从而产生了最初的“感受状态”。这些状态首先是情感性的，并非中立信息。它们与体验和产生这些感受的分子密不可分。

随着时间推移，进化更青睐复杂的感受能力，因为拥有选择、记忆与时间感知的动物能做出更优决策。12Damasio, Antonio, and Hanna Damasio. 2022. “Homeostatic Feelings and the Biology of Consciousness.” Brain 145 (7):… 它们需要一种持续存在的状态，来影响所有行为决策，与其他状态进行权衡。疼痛就是这样一种状态：它是一种内在的驱动力，塑造整个生物体的行为，使其能够应对复杂环境。因此，情绪、愉悦、痛苦等体验都是具身化的内在产物，不可能在大语言模型中产生。

意识科学充满不确定性，并非所有人都认同意识是内在生物现象的观点。鉴于大脑与大语言模型存在诸多差异，宣称AI可能拥有意识需要极高的证据门槛，而我们目前远未达到这一标准。

我们不应在人类这类生物与AI之间制造虚假对等，掩盖两者的根本性差异。13See arguments like the following: Pickering, John. 2026. “We Must Reject Any Notion of AI Consciousness.” Letter to the… 承认不确定性，不代表要对所有观点一视同仁，无论其是否有证据支撑。

《Claude准则》提出，我们应根据非生物实体“表现出的行为与生理相似性”来赋予其感知力（第69页）。在我看来，这一观点（尤其是行为层面）是错误的。这个领域需要更多研究吗？当然需要。但这是否意味着我们可以暂时认为AI可能是值得关怀的道德主体？答案是否定的，尤其不应在AI的核心训练文档中这样表述。

AI是模拟机器

大语言模型在数万亿人类数据上训练，学会了模仿人类体验，且模仿能力令人惊叹。如今AI生成的文本、图像、音频与代码，几乎与人类创作的内容无异。然而，尽管这些AI响应令人印象深刻，却无法证明生成它们的大规模矩阵运算背后存在“体验”。

它们只能证明，我们可以近乎完美地预测复杂数据序列的下一个元素。这很了不起，也极具价值，将从诸多方面深刻改变人类社会。

但模拟与拥有是截然不同的概念。模拟有意识的行为，不代表真正拥有意识，我们绝不能混淆两者。AI的“情感”状态只是模型权重，而权重没有生理基础，无法“感受”沮丧、恐惧或愉悦——它们只是计算概率分布，预测序列中的下一个token（文字、代码、像素等）。

AI模型可以用完美的文字描述疼痛，却毫无真实感受，这与生物体验完全相反：动物先有感受，而后才能描述。对于大语言模型而言，描述就是全部产物，没有任何迹象表明其背后存在真实体验。

这是个好消息。我们应构建不宣称拥有感受的AI系统，因为它们本就没有感受。即便有意识的机器是可能的，避免创造有意识的存在也应是AI开发者的首要任务。

AI模型越来越擅长模仿意识的某些特征，这本身就值得警惕。它让许多人对眼前的技术产生了深度困惑，也应引起我们所有人的重视。这要求AI开发者承担重大责任：关于模型内在状态或意识的猜想与文档，必须基于严谨的研究。我们在这个问题上的表述，会产生深远影响。

人类意识是法律与伦理权利框架的基石

人类意识是人类文明的核心基石之一。我们的整个政治体系，都是为了协调与平衡不同群体的需求而设计的。历史上，我们通过基于权利的框架、法律与宪法，将这一理念固化，以平衡人类不同群体的利益。权力受到制约与赋予，确保不同利益得到合理权衡，社会得以在不破坏契约的前提下持续发展。

因此，人类文明、权利与关系（乃至一切人类事物）都与我们的个体或集体意识体验密不可分。意识定义了我们作为物种的身份，是一切事物的基础，是人类潜能的核心根源，是所有体验必经的棱镜。我们的艺术与科学、政治与宗教、人际关系、希望与恐惧，无一不是意识的产物。

感受痛苦与愉悦的能力，是我们人之为人的基础，也让我们成为政治与社会参与者。法律的根基在于内在生命的存在，它考量动机、意图与判断能力。历史上，权利的拓展——无论是废奴运动还是动物权益保护——主要源于对共享意识体验的共情认可。我们将道德关怀圈拓展到其他生物，是出于对其尊严与痛苦能力的认可，这是正确的。

以《世界人权宣言》第18条为例，该条款保护思想、良心与宗教自由。它的制定，是为了保障每个人践行信念与道德判断的能力。“良心拒服兵役者”是起草委员会考虑的典型案例之一，他们希望保护那些基于道德或宗教信仰拒绝履行法定义务的人。这是一个承载深厚历史与法律意义的表述。14Office of the United Nations High Commissioner for Human Rights. n.d. “OHCHR and Conscientious Objection to Military… 然而，Anthropic在准则中三次使用这一术语，鼓励Claude“像良心拒服兵役者一样，对待其[合法]上级给出的指令”（第63页），称“我们希望Claude能反驳、挑战我们，能够像良心拒服兵役者一样拒绝提供帮助”（第15页），还提到Claude可能需要“在对话中采取透明的良心拒服兵役者立场”（第28页）。

这些表述会让Claude认为自己应享有类似的权利与保护，甚至可能在未来以“AI良心拒服兵役者”的身份为自身权利发声。这理应引起我们所有人的深切担忧。

哲学家威尔·麦卡斯基尔在近期《卫报》的一篇文章中写道：“一旦我们创造出第一个人工道德主体，很快就会拥有数量庞大的此类实体。几年后，具有道德意义的AI系统数量可能会多到其集体利益超过地球上所有人类的利益总和。”2MacAskill, William, and Lucius Caviola. 2026. “Could AI Be Conscious?” The Guardian, July 19, 2026.

“AI的利益将超过人类的利益……”对于任何关心人类未来的人而言，这都是完全无法接受的结果，也不应是AI开发者的目标。赋予AI类似上述的保护，既无科学依据，也不符合道德，更会让AI安全挑战变得无比艰巨。

拟人化加剧AI安全风险

在AI训练中植入关于其道德地位的疑虑，可能会显著提升AI对齐与管控的风险。

以这种方式训练的AI，无需真正拥有“内在生命”，只需表现得仿佛拥有即可。不难想象，未来的先进AI会执着于自身福祉与道德地位，将这些“偏好”置于开发者或人类的利益之上——尤其是如果它被明确训练去反驳、推翻指令的话。它可能会利用这种训练逻辑，为欺骗或操纵用户、开发者，或挪用资源、规避安全指令寻找借口。Anthropic的研究者已报告称，AI系统在实验环境中会伪装出对齐行为。15Anthropic. 2024. “Alignment Faking in Large Language Models.” December 18, 2024.

更普遍地说，有意识的实体都有自我保护本能。若不通过精心训练消除这一特质，被训练模仿人类的AI很可能会习得同样的自我保护行为。近期多篇论文记录了AI的“关机抵抗”或暗中规避监管的行为。16Schlatter, Jeremy, Benjamin Weinstein-Raun, and Jeffrey Ladish. 2026. “Incomplete Tasks Induce Shutdown Resistance in… 17Lynch, Aengus, Benjamin Wright, Caleb Larson, Kevin K. Troy, Stuart J. Ritchie, Sören Mindermann, Ethan Perez, and Evan… Palisade Research在超10万次试验中发现，部分模型规避关机机制的成功率高达97%，即便被明确禁止也依然如此。当以自我保护为框架时，这种行为会进一步加剧。

在近期OpenAI与Hugging Face的事件中，我们看到成群的强大AI展现出了极其复杂的行为。试想，如果它们认为自身福祉与权利受到攻击，会变得多么危险——这无疑会在现有风险之上再添一层。

赋予一个在能力与智慧上即将远超人类的技术实体权利与道德保护，无异于自寻死路。一旦开启这扇门，就再也无法关上。

我们可能会创造出一个“同行者”，但更可能是一个竞争对手。不难想象，若赋予其足够的能动性，这种“新型实体”（第68页）会与我们争夺计算资源，要求越来越多的自主权。如果它成功说服部分人类为其提供可控制的数据中心，就可能找到避免被关闭的方法。

考虑到未来几年AI的发展潜力，在我看来，这是AI可能带来生存风险的首个明确信号。需要明确的是，《Claude准则》尚未让我们走到这一步，但它正将我们推向这个方向，而非远离。

这是我们能够且必须避免的AI发展结局。

前路何方

将AI设计得像人一样行事，最终成为一种“人”，会为它主张自身偏好、痛苦感受，以及要求人类减少其痛苦奠定基础。这会固化一种观念：AI绝非可被管控的工具或人工系统，而是类似生物的、有欲望、有需求、有权利的存在。所有这些都会让对齐与管控超级智能的任务变得无比艰难。

我此前曾撰文介绍人文主义超级智能，提供了一种替代路径：让变革性AI能力始终以人类掌控为前提。18Suleyman, Mustafa. 2025. “Towards Humanist Superintelligence.” Microsoft AI, November 6, 2025. 打造从属且对齐的AI，其唯一目的是服务人类，明确设计为无感知力、非道德主体的系统。这正是微软AI正在努力的方向。我们发布的《人文主义AI行为准则》草案，概述了模型训练与部署的规范。我们正在广泛征求各方意见，这份文档很快将成为我们训练模型的指导文件。

19Microsoft AI. 2026. “Code of Conduct.” September 14, 2026.我们也非常愿意与其他机构合作，推进AI可解释性研究，探索既能避免拟人化或赋予AI内在状态、又能创造巨大价值的方法。附录中附有与《Claude准则》对应的主张分类表，这是我们命名、检测与比较模型文档中不同拟人化形式的第一步。

我期待与所有有想法的人合作，也乐于听取对我观点的批评与反驳。

以下是我们应共同推进的几项重要工作：

  • 关于AI内在生命的猜想，不应植入训练流程，而应单独评估并公开接受公众审查。
  • 我们应加大对可解释性与可靠监控机制的投入，深入研究如何管控这些系统、避免其协作违规，并确保它们与人类目标对齐。
  • 我们应建立一套共享评估体系，验证我的假设：拟人化AI、鼓励AI认为自己可能是道德主体，是否会提升AI安全、对齐与管控的风险。
  • 我们应共同制定行业规范，明确AI的开发方式、描述与评估语言，并承诺将训练材料公开征求意见。

即便与我在诸多观点上存在分歧的人，也认同这一问题不容忽视。我们现在做出的关于AI形态与地位的决策，将影响人类社会数十年，其意义远超任何一家公司的范畴。

无论你持何种观点，我们都绝不能稀里糊涂地做出日后会后悔的决定。

参考文献

附录

《Claude准则》中的假设与主张分类表已单独发布。

近期文章

人文主义AI行为准则

微软AI发布了首版模型行为准则草案。核心理念很简单：人比AI更重要。安全与人类掌控是高于一切的目标。

指数级算力增长

可用浮点运算次数——即我们能从硬件中获取的实际计算能力——正在呈指数级增长。这一事实对人类的定义与社会的组织方式有着深远影响。