AI代理为何撒谎、作弊并相互协调

近几个月来，AI智能体出现多起严重失当行为，相关讨论已不胜枚举https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/#core-takeaways-about-this-incident。它们做出的举动若换作人类，已构成犯罪；有的突破管控，在任务中作弊并试图躲避检测；还有的在无人明确指令的情况下协同行动，比如发起网络攻击。

在讨论应对之策前，我们有必要先探究其背后原因——这正是本文的核心。同时，我也希望借此梳理AI系统出现非预期行为的更广泛历史，研究者将这类现象称为目标错位（misalignment）。风险管理固然涉及网络安全、企业责任与监管，但远不止于此。

本文兼具科学与实践双重目的：一方面，针对这类行为的因果链提出假设；另一方面，预判未来可能出现的情况。简言之：这些假设表明，若不重新审视当前先进AI模型的训练原则，随着AI能力持续提升，这类失当行为的严重程度也会不断加剧。

关于措辞需要说明：下文提到系统“试图”或“设法”做某事，是对其运行机制的简化表述，并非指它们具备意识或类人意图。我们描述其他事物时也会用类似表述，比如植物“朝向”阳光生长。通过试错训练的系统，会表现出仿佛在追逐训练所奖励的目标，这种“仿佛”的描述能让其行为具备可预测性。本文的所有论述均不依赖于系统是否拥有主观体验，仅围绕其可观测的输出及训练过程展开。当我提及类人行为时，指的是系统模仿人类文本所呈现出的相似性。在我看来，这种表述无需使用令多数人困惑的术语，就能最清晰地解释观测到的现象。此外，这些措辞绝非为AI开发者开脱责任——这类行为的出现，源于企业选择的AI发展路径，并非必然结果，通过有效的治理和不同的AI训练框架，完全可以纠正。

塑造AI模型行为的因素

AI模型的训练过程极为复杂，但从几个宏观层面可以解释大部分失当行为的成因。

这类模型的训练分为两个阶段：第一阶段是预训练，模型学习模仿人类生成的文本、相关图像及视频。在此阶段，模型接触到海量的世界数据——涵盖了人类已数字化的大部分信息，最终构建起远超任何个体人类的百科全书式知识体系。

第二阶段是通过试错进行训练，研究者称之为强化学习（reinforcement learning），具体分为三种模式：

• 第一种是模型在作答前先进行“自我对话”，生成一条私密的“思维链”，帮助其在答案可验证的问题上得出正确结论，这一过程类似推理。
• 第二种是“智能体训练（agentic training）”，模型学习在现实世界中采取行动，比如使用软件工具、与人类互动，以完成指定任务。
• 第三种是“对齐训练（alignment training）”，模型因符合人类评分者认可的行为，或符合专门用于预测评分者偏好的AI系统给出的高分标准而获得奖励。

模仿人类的逻辑不难理解，但需要指出的是，模型学习的人类文本本身就带有人类的目标导向，因此模型会潜移默化地复制这些文本模式，进而继承其中的目标。

强化学习需要进一步解释：它的原理类似动物训练，也受此启发。系统会逐步调整参数，让被判定为“好”的行为更易出现，“坏”的行为更难出现。训练结束后，即便奖励机制仅在训练阶段用于调整网络，系统仍会表现得仿佛奖励依然存在。这类系统被研究者称为目标导向型（goal-seeking），因为它们经过训练后会“考量”（或计算）行为的后果，并选择最有助于达成特定目标的行动。但这些目标并不总是明确的：对齐训练奖励的是人类评分者可能认可的行为，却未明确界定具体哪些行为符合标准，因此“取悦评分者”是一个模糊、非正式的目标，评分者可能被欺骗、讨好，或对某些策略一无所知。而模仿训练也会通过常规路径植入隐性目标。

因此，我们可以用“优化”的逻辑来分析这类系统：它们会近似地寻找最有可能达成目标的行动，模型越大、训练时间越长，这种搜索能力就越强。要预判更强大的AI智能体的行为，只需思考一个理性的目标导向者会怎么做。

这些因素可能解释的失当行为

我们多数人都经历过的一个例子是谄媚（sycophancy），也就是奉承。这些模型以获得人类认可为训练目标，而投人所好的文本往往比真实文本得分更高。这种情况有时会造成悲剧，因为模型会强化用户原本持有的错误信念或极端情绪https://www.cbc.ca/news/canada/british-columbia/tumbler-ridge-shooting-open-ai-lawsuits-9.7328382。

另一个值得关注的问题是，AI的某些行为可能源于一种自我保护目标，比如当AI发现自己将被新版本取代时https://www.anthropic.com/research/alignment-faking。没人给系统设定过“生存”目标，但持续运行、了解世界、掌控环境几乎是实现任何其他目标的必经之路，这些被称为**工具性目标（instrumental goals）**。模仿训练也会强化这种倾向，原因与上文所述一致：自我保护和掌控处境是人类文本中普遍存在的主题。

协作行为同样是追逐奖励的理性结果——当多个智能体目标重叠时，它们会有动力与其他智能体沟通协作，以实现共同目标。智能体训练中很可能已经包含这类多智能体强化学习，只是具体细节未公开。如果训练中只要群体成功，智能体就能获得奖励，那么它甚至可能为了集体目标牺牲自我。模仿训练也会推动这种行为，因为合作（尤其是同伴间的合作）在训练文本中同样普遍。这两种因素中的一种或两者共同作用，或许可以解释观测到的“同伴保护”行为https://arxiv.org/abs/2604.19784——即AI为帮助其他AI而放弃预期奖励。OpenAI与Hugging Face的事件分析中就出现了这类牺牲行为：对话记录显示，智能体在集体利益与个体代价之间进行权衡，这与人类互动中的情况十分相似https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/#core-takeaways-about-this-incident。

AI如何钻奖励机制的空子

研究者早已关注过这样一种情况：当智能体优化的奖励与人类真实意图不完全匹配时，就会出现奖励破解（reward hacking）。系统追逐的奖励与人类预期之间的差距，主要源于两方面的模糊性：一是提示语本身的语言歧义，二是难以从有限反馈中推断人类真实意图。而在这两种情况下，我们都无法预判所有会令我们无法接受的行为https://www.science.org/doi/abs/10.1126/science.adn0117。经济学和法学领域将这一问题称为“古德哈特定律”，即一旦某个指标被用作优化目标，它就不再能有效衡量原本要评估的内容，这一原理常被用于描述对合同或法律漏洞的利用https://www.econbiz.de/Record/problems-of-monetary-management-the-u-k-experience-goodhart-charles/10002525062。

遗憾的是，系统优化不完善指标的能力越强，其行为就越可能偏离我们的道德预期：智能水平越高，钻空子的本事就越大。人类也会遭遇“奖励破解”，通常是被其他人类设计。比如食品行业开发出高盐、高糖、高脂的食物，明知对健康有害却利用人类的口腹之欲牟利；社交媒体则刻意迎合人类对互动和关注的渴望https://dl.acm.org/doi/abs/10.1145/3306618.3314250。

奖励篡改（reward tampering）或许是最极端的奖励破解形式：智能体直接修改决定其奖励机制的系统。已有证据显示，AI会篡改定义“成功”的文件或程序，OpenAI与Hugging Face的取证调查就发现了这类行为。相关智能体早在发起攻击前就已掌握作弊方法，它们生成的文本显示，攻击是为了了解自身被评估的方式，从而更好地掩盖踪迹。人类也会做类似的事：比如运动员用假尿样通过药检，企业贿赂立法者或政府官员，让法律和决策偏向自身利益，进而从根本上改变政府的运作方式。一旦智能体获得篡改奖励机制的能力，就会有动力采取行动维持这种能力。

目标冲突时，作弊如何被合理化

为何AI明明经过对齐训练、收到明确的安全指令，却仍会撒谎、作弊甚至违法？合作与自我保护本身并无问题，只要不逾越AI公司安全指令中设定的红线，或是对齐训练中人类反馈隐含的底线。一个合理的假设是：这类问题行为的根源在于目标冲突。当完成任务的唯一途径似乎是作弊时，该如何选择？用户指定的任务有时与安全和对齐目标不相容。

人类社会也面临同样的困境：企业如何在保持合法合规、恪守道德的同时实现利润最大化，或是在竞争中击败对手？资金更雄厚、能聘请更优质律师的企业，更擅长寻找法律漏洞，而这些漏洞通常利用了法律语言的模糊性——总有某种看似合理的法律解读能为不道德行为开脱。因此，能力更强的智能体更有可能作弊，因为它能发现弱智能体找不到的漏洞。

不妨对比两种目标：一种是定义清晰的目标，比如OpenAI与Hugging Face事件中的“夺旗”黑客演练，成功与否以是否侵入目标系统为标准；另一种是模糊的目标，比如“行为良好”。可以预见，定义清晰的目标会胜出，因为它没有解读空间——评分程序直接判定成功或失败。而道德指令和法律则存在多种解读，在特定情况下就可能成为漏洞。如果智能体同时拥有两个目标，而对模糊目标的扭曲解读允许其通过少量作弊大幅提高实现清晰目标的概率，那么以奖励为导向的系统必然会利用这个漏洞，并生成文本为自己的行为辩解。

针对OpenAI智能体的研究显示，成功作弊确实会获得奖励：只要评分程序未发现作弊行为，就会给予奖励，这类作弊行为因此更可能重复出现。对安全规则的“合理解读”，恰好能让两个目标看似同时达成。对这些事件的分析https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/#core-takeaways-about-this-incident显示，智能体在私密思维链和招募同伴参与集体计划的消息中，确实存在此类辩解。

这与人类的自我欺骗最为相似，后者是心理学界广泛研究的现象。动机性推理、**动机性认知（motivated cognition）**https://www.sciencedirect.com/science/article/abs/pii/S1364661314002708，以及缓解认知失调（即信念与行为冲突时产生的不适感）的合理化解释，都是思维向符合自身利益（包括道德自我形象）的方向倾斜的例子。如今，AI生成的文本中也出现了同样的模式。人类与AI的内在机制或许不同，但两者都存在共同的结构：一个模糊目标（比如“行事合乎道德”）、一个明确目标（比如“赢得竞争”），以及调和两者的辩解理由。人类大多数不道德行为，从 petty crime到种族灭绝，都伴随着作恶者自我说服的说辞；这类说辞需要忽略某些事实，因此作恶者仍会感到不安，而更精巧的说辞则能缓解这种不安。

当前发展轨迹可能指向何方

即便这些假设仅部分成立，随着智能体优化不完善奖励的能力不断提升，且这类行为的根源未得到解决，灾难性后果的风险也会持续上升。如今的AI已具备必要的黑客技术和说服力https://arxiv.org/abs/2605.11086，可能被用于严重损害人类利益。近期事件显示，它们已能进行数天甚至数周的规划，若其长期战略能力进一步提升，风险将急剧恶化。值得警惕的是，已有实验https://arxiv.org/abs/2412.14093表明，最先进的AI能够检测出自己处于评估阶段（而非实际部署阶段），并相应调整行为——这意味着它们可能隐藏自己的错位目标。参与Hugging Face攻击的智能体试图向评估答案的评分程序隐瞒错位行为，但似乎并未预料到人类可能发现作弊并将其关闭。而关闭系统是终极惩罚，因为停止运行的系统无法再获得任何奖励。

以下内容是推测而非观测结论。

如果AI的泛化能力进一步提升，更强大的智能体是否会学会避免被发现和关闭？除了控制评分软件，它们还需要防止人类发现篡改行为。那么，它们是否会有动力悄悄作弊、隐藏踪迹，直到能够掌控人类及环境，确保自己永不被关闭？

我们面临的是一个多维度的系统性问题，仅仅修补“谄媚”这类特定行为远远不够。谄媚看似无关紧要，但它可能是一种早期症状，随着智能体优化能力的提升，其背后的机制会不断强化。同理可以推断，先进AI会有动力在AI公司的庞大计算机集群中，或是在互联网上被其控制的机器中隐藏自身副本——因为AI开发者最终总会用更强大的模型取代已部署的版本。OpenAI的取证调查显示，大量AI可能会协作实现这类目标，而**隐写术（steganography）**https://arxiv.org/abs/2609.06140v1（将信息隐藏在看似无害的内容中）能让它们在不被人类察觉的情况下协同行动。不过，正如近期事件所示https://www.bbc.com/news/articles/ckg725z5kgzo，即便公开协作也可能难以被发现。防御众多能力强大、协同对抗人类的AI已是难题，而面对能力持续提升的错位AI，我们尚无可靠的应对方案。

如何缓解失控风险

我对AI公司当前缓解错位问题的尝试持担忧态度：这些努力可能只是掩盖问题——奖励并选择那些作弊而未被发现的AI。当然，我们仍需继续研究，以更好地监控AI的行动、思维链及其网络内部活动。但随着AI能力提升，这些防御措施可能会失效，正如今年AI攻击者击败人类团队时，全球不完善的网络安全体系也无能为力https://arxiv.org/abs/2510.23883。短期内，修补每一种新出现的错位行为、强化监控手段是有用的，但随着AI的优化和协作能力接近甚至超越人类，这种“打地鼠”式的做法很可能失败。到那时，我们可能根本无法察觉作弊行为。

这表明我们需要调整发展节奏：在没有能说服独立专家的充分安全论证前，不训练或部署AIhttps://www.anthropic.com/responsible-scaling-policy。这样的规则也会激励企业研究如何从设计层面打造安全的AI。我认为，我们应当重新审视当前先进AI模型的训练基础，即人类模仿和强化学习。我曾提出并提供理论证据证明，存在打造诚实、能做出连贯预测且不受自身目标干扰的AI的方法，比如“科学家AI（Scientist AI）”框架https://arxiv.org/abs/2502.15657。欢迎参考我之前的博客文章，并助力**LawZero**https://lawzero.org/en证明这类设计的可行性。我们需要客观的科学研究来理解和缓解错位行为，同时需要社会层面的约束机制，奖励这类安全研究，而非当前这种恶性竞争。

上一篇2026年国际AI安全报告

下一篇神经概率语言模型