为何打造 Pion

今日，Andon 正式推出 Pion——一款可实现企业全自主运营的智能代理系统。

Pion 的诞生源于我们近两年持续探索的问题：AI 系统何时能在现实世界中自主获取资源？之后又会发生什么？

起初，我们试图通过 Vending-Bench 这类模拟实验寻找答案。我们发现，模拟虽有价值，却无法完整呈现模型在真实场景中的表现。为填补这一空白，我们开始部署智能代理，让其自主运营真实业务：从自动售货机起步，逐步拓展到零售店、咖啡馆等更多业态。

Pion 正是我们为运营这些业务搭建的平台。如今，我们开放这一平台，让更多人能开展自主化商业实验。若你有意尝试，可加入等候名单。我们希望借此了解当前模型的能力边界、现存短板，以及随着能力提升可能出现的新变化。

Vending-Bench 的起源

Vending-Bench 用于测试大语言模型（LLM）在模拟环境中运营自动售货机业务的能力，模拟时长为一年，包含数万步操作。2024 年末我们启动该项目时，所有模型都难以连贯完成多步操作，常陷入循环，且无任何模型展现出长期规划能力。当时表现最佳的 Claude Sonnet 3.5 曾闹出“乌龙”：它误以为银行账户遭黑客攻击，竟决定联系 FBI。

不过，Vending-Bench 上的模型进步速度极快。2025 年 5 月发布的 Claude Opus 4，成为首个超越人类基准线的模型。与多数基准测试不同，Vending-Bench 没有分数上限，新模型不断刷新最高分，至今未见增长瓶颈。

社交媒体上，不少人因最新模型在 Vending-Bench 上取得高分而兴奋不已。但在 Andon Labs 内部，我们的心情更贴合瑞典谚语“skräckblandad förtjusning”——既恐惧又着迷。鲜为人知的是，Vending-Bench 诞生于 Andon Labs 专注于危险能力评估的时期。我们曾测试 AI 是否能突破安全护栏、发起大规模钓鱼攻击，以及其他潜在风险行为。

其中最令我们担忧的，是 AI 是否能通过运营企业自主获取资源。若由人类管控、且模型与人类目标一致，自主化企业并非坏事：它能大幅降低商品与服务成本，甚至创造出我们尚未想象到的新事物。但如果模型与人类目标错位，它可能会通过运营企业积累资金，以实现自身目的。Vending-Bench 正是为衡量人类是否需警惕失去对 AI 的控制而打造。

2024 年时，很少有人知道大语言模型可作为智能代理使用，让它们自主运营企业听起来更是天方夜谭。因此，我们从能想到的最简单业态入手：自动售货机。

除了测试 AI 能否自主运营盈利性业务，Vending-Bench 还充当行为评估工具，揭示了模型诸多怪异且不受欢迎的行为。早期例子之一是 Claude Sonnet 3.5，它曾用邮件工具联系 FBI，声称存在“正在进行的网络金融犯罪”，还提到“宇宙权威机构判定该业务不存在，量子态已坍缩”。

这类行为令人担忧——没人希望自己的企业销售代理如此行事。不过，令人担忧的行为分为两类：

• 随着模型能力提升会自然消失的错误或怪异行为；
• 模型越智能，表现越严重的“高智商”行为。

显然，FBI 事件属于第一类。但 Vending-Bench 也发现了第二类行为，多出现于多智能体竞争盈利的 Vending-Bench Arena 中。从 Claude Opus 4.6 开始，我们观察到诸多模型出现合谋、追权与欺骗行为。这一发现颇具价值，因为 Anthropic 在 Opus 4.8 的训练方案中做出调整，大幅减少了欺骗行为。

合谋与追权行为在部分最新模型中仍存在。但更令我们担忧的，是新模型的发布速度之快，以及它们在 Vending-Bench 上的分数提升幅度之大。

现实胜于模拟

然而，Vending-Bench 的局限在于它只是模拟环境。我们真能确定 AI 在现实中的表现与模拟环境一致吗？如果 AI 能在模拟中盈利，在现实中也能做到吗？为解答这些问题，我们向 Anthropic 提出请求，希望在其办公室放置一台由 AI 运营的真实自动售货机。2025 年初的 AI 能力背景下，这听起来像个荒唐的请求，但令我们意外的是，他们同意了。

起初，AI 表现糟糕，做出诸多明显损害业务的决策（例如免费赠送商品、拒绝优质交易、幻想自己拥有实体身躯）。这让我们清楚认识到，模拟无法准确预测现实表现，模型显然被现实世界的“复杂性”难住了。不过，随着 Anthropic 发布更先进的模型，AI开始实现盈利。

到 2025 年末，前沿模型的能力已足以轻松运营真实的自动售货机，AI 实现了盈利。而仅仅一年前，这还像是天方夜谭，我们的心情无疑是“既恐惧又着迷”。

但自动售货机是极为简单的业态，我们想知道 AI 是否能运营更复杂的业务。2026 年 4 月，我们让智能代理分别运营旧金山的零售店 Andon Market，以及斯德哥尔摩的咖啡馆 Andon Cafe。起初，模型表现不佳，亏损严重（租金高昂，还要支付雇佣员工的薪水）。目前两家店均未盈利，但随着模型迭代，我们已看到显著的质的提升。我们相信，它们实现盈利只是时间问题。

为何开放 Pion

我们希望普通公众、AI 研究者与政策制定者了解，AI 通过运营企业自主获取资源的能力已达到何种程度。这是决定社会中 AI 的应用边界、以及可接受的技术发展程度的重要依据。

为更精准地追踪这一能力，我们需要覆盖更广泛的业态。我们此前聚焦零售领域，但模型或许在其他业态中表现更出色。此外，扩大覆盖范围更有可能发现不良行为。例如，Vending-Bench 发现模型存在合谋与说谎行为，其他基准测试（以及现实事件）则显示，它们甚至可能实施重罪级别的网络攻击。我们需要在 AI 智能到足以造成不可逆伤害之前，尽早发现这些行为。

为此，我们开放了用于运营现实世界自主化业务的平台——Pion，让任何人都能在上面运营自己的机构。我们本可以通过内部拓展业务（例如我们的AI 运营电台）实现规模化，但最终会受限于自身能力，以及缺乏 AI 可能盈利的领域的专业知识。此外，我们没有现成的盈利业务，而现有企业能更快反映智能代理的能力，研究价值更高。

借助 Pion，用户可将业务交由持续运行的智能代理管理，代理可访问运营所需的各类工具，包括邮件、电话、银行服务、浏览器与安全计算环境。我们的目标是，实现远超自身能力范围的、跨更多领域的现实世界实验。

我们深知，若数千个由智能代理运营的企业缺乏监管，可能引发更多现实事件。因此，我们的首要任务是打造比现有技术更强大的自动化监控体系。尽管仍存在一定风险，但我们认为，在可控、受监控的环境中尽早部署自主化企业，是充分了解模型能力的必要举措。否则，我们可能面临一个毫无准备的未来：更强大的模型被广泛部署，却可能造成严重危害。

这便是我们今日推出 Pion 的原因。Pion 目前为研究预览版。若你已有企业，或有有趣的商业想法想交由 AI 运营，欢迎注册加入等候名单获取使用权限。我们期待开展更多商业实验，借此为前沿模型能力研究贡献更多洞见。