Import AI 469：科学AI、递归改进模拟器与扎克伯格的科技悲观主义
作者：Jack Clark
欢迎阅读《Import AI》——一份聚焦AI研究的通讯。本通讯依托arXiv论文、意式浓缩咖啡，更离不开读者的反馈。若您认可我们的内容，欢迎订阅。
DiG-bench测试显示Fable模型具备初步创造性直觉： ……如今AI系统分析的新前沿，是理解它们能否推断出所处环境中的潜规则……
AI系统是通过探索与好奇心自主摸索环境规则，还是依赖人类投喂规则？这是理解AI直觉与创造力的关键问题，而全新基准测试DiG-bench（游戏中的发现能力，Discovery in Games）正试图解答它。该基准包含70款游戏，旨在"精准刻画可控交互系统中的发现能力边界"。类似视觉类游戏ARC，DiG-bench的"每款游戏都是一个独立的微型世界，有专属运行法则，但规则与目标均对玩家隐藏，必须通过交互探索才能解锁"。您可前往官方网站亲自体验部分游戏： digbench.ai
这项测试的核心，是衡量玩家能否识别决定成败的关键机制——简言之，玩家通过反复试玩，感知自身行为如何改变环境，进而摸索出通关必需的核心规则。若能通关这些游戏，意味着玩家具备在陌生环境中捕捉关键信息、更新既有认知的能力。
研究团队： 作者来自Thinking About Thinking、牛津大学、普林斯顿大学、阿卜杜拉国王科技大学、瑞士AI实验室、法国国家信息与自动化研究所（Inria）、麻省理工学院。其中一位作者是Juergen Schmidhuber，这位AI领域的资深先驱极具创造力。
核心特点：
- 纯文本形式：这类游戏天生适配语言模型，且"篇幅足够短，多数游戏流程可完全容纳于当前前沿模型的上下文窗口内"。
- 人工原创且保密：所有游戏均由人类专家打造，大部分未公开，避免AI系统提前在这些数据上训练。
- 可通关但难度高：每款游戏至少有一位人类玩家通关，但"多数玩家反馈游戏难度很大"。
- 技能要求多元：通关所有游戏需要运用不同技能与策略。
- 支持实验模式：游戏提供可选的实验模式，玩家可不受严格步数限制，自由探索玩法。
- 难度达标：游戏难度足以让当前前沿模型无法通关。
AI系统表现如何？ 基准测试分为7个等级，1级最简单，7级最难。目前已公开21款游戏，剩余仍处于保密状态。多数游戏包含多个关卡，玩家每一步可选择的操作从2种到34种不等。
- 整体表现最佳的是搭配Claude Code的Opus 5与Fable 5，其次是GPT-5.5。
- 仅Opus 5与Fable 5能在7级关卡中完成部分任务（成功率0.2）；借助工具框架（如Claude Code）时，Opus 5、GPT-5.5与Kimi K3可完成部分6级关卡任务。
- GLM-5.2与Gemini 3.1 Pro能通关部分4级关卡。
- 总体而言，这项测试的难度极高！
重要意义——创造力与探索能力的 proxy（替代指标）： 此类测试旨在剥离出创造力的一项先决条件：能否自主发现陌生环境中有用的未知信息。测试结果显示，部分前沿模型已展现出不俗的探索能力，但与人类仍有差距（例如，人类玩家能100%通关7级关卡，而AI的成功率仅20%）。我推测，到2027年年中，AI在DiG-bench上的表现将追平人类，届时递归自我改进可能会真正启动。
延伸阅读： DiG-bench: Discovery in Games（GitHub，PDF）。体验游戏并查看排行榜，请访问官方网站（digbench.ai）。
通过这款浏览器游戏感受递归自我改进： ……类似《Cookie Clicker》，但聚焦奇点降临……
Paradigm Research团队推出了一款趣味游戏，模拟运营一家开发具备递归自我改进能力AI的公司。玩家可通过游戏直观感受AI研发各环节的联动，比如如何平衡科研人员与算力投入、何时及如何授权数据等。提醒一下，游戏难度很高——毕竟前沿AI研发本就不易。
重要意义： 培养对递归自我改进的认知，对全人类的生存至关重要；这类游戏能帮助我们更清晰地理解这项技术，以及研发它的实验室。点击游玩： RSI Simulator（Paradigm Research）。
AI系统展现出科研品味的早期迹象： ……Inherent公司通过后训练，将一款开源模型打造成能监督前沿模型的AI科学家……
品味难以量化，却能直观感知——就像身处设计精妙的房间、看到剪裁得体的穿搭，或是读到恰好切中关键问题的论文时的感受。如今，AI初创公司Inherent的研究人员发表论文，介绍他们正在打造的Faraday模型：一款有望培养出科研品味的AI科学家。
研究内容： 该公司构建了一套监督框架，搭配一个相对小型的大语言模型（LLM），让其"驾驭"大型专有前沿模型，提升后者在科研任务中的效率。（某种程度上，这是以能力为核心的可扩展监督问题解决方案。）
为训练和评估系统，他们构建了名为"Replica"的数据集，包含部分关键图表或结果被隐去的科研论文，随后测试AI系统能否自主完成实验填补空白，并通过GRPO算法，基于优质的补全结果持续训练小型监督模型"Faraday"，不断优化性能。
Faraday是一个270亿参数的模型，以OpenAI Codex作为底层工具，在Qwen-3.6-27B模型基础上进行后训练。
Replica数据集详情： 该数据集包含1990至2026年间发表的100篇机器学习与AI for Science论文。作者通过移除单篇论文中的独立结果，将其转化为310项复现任务。"针对每项任务，我们用元评分标准提示Claude Opus 4.7，生成任务专属评分细则，"他们写道。随后，基于Codex的Judge模型会给出"整体奖励与每轮任务的权重分配，用于通过改进版GRPO算法训练Faraday智能体"。
研究结果： 搭配Codex的Faraday在部分复现任务上表现优于标准版Opus 4.8与GPT-5.5，"根据我们的评分细则，在分布内机器学习任务上表现超出对手的比例达73%，在保留的AI for Science任务中这一比例为60%"。
他们写道："与基础Qwen模型相比，我们在训练任务与测试任务上均实现了全面性能提升。"
重要意义——Faraday这类系统越完善，AI实现递归自我改进的可能性越高： 如今，大多数高价值AI评估都试图捕捉创造力与直觉的某种属性，Faraday/Replica项目也不例外。AI在这方面的能力越强，其自主迭代升级的可能性就越大。
该公司指出："让Faraday能补全模糊指定细节的技能，或许正是推动它自主设计实验、突破技术前沿的核心能力。Faraday习得的技能——决定研究方向、在预算内规划实验、评判复现结果——会与前沿代码模型的进步相互叠加。我们或许可以期待，一个经过后训练的外部智能体，至少能在一段时间内跟上前沿模型的迭代步伐。" 延伸阅读： Training AI Scientists to Replicate Research（arXiv）。
马克·扎克伯格似乎是技术悲观主义者： ……扎克伯格关于AI的长篇文章，似乎回避或未直面具备发明能力的AI系统意味着什么……
马克·扎克伯格发表了题为《未来属于每一个人》的文章，阐述他与Meta公司的AI发展理念，堪称一份行动宣言。扎克伯格战略的核心，是让AI能力全球普及，避免权力集中在少数玩家手中、形成垄断。这一思路大体合理，但有一个关键问题被他忽略：具备自主发明能力的超级智能，其目标可能与他的设想相悖，而文章对此未作任何探讨。
扎克伯格的观点： "我们这个时代的核心问题是，谁能获得超级智能，以及我们将引导它走向何方，"扎克伯格写道，"我们提出一种理念：以个人赋能为繁荣之源，以发明创造为超级智能的核心目标，以权力平衡为安全基础。"
Meta的目标与信念：
- "每个人都将拥有一个能力极强的个人智能体，了解你、你的目标以及你在乎的一切。"
- "每个人都将拥有强大的创作工具，用以表达想法。"
- "每个人都将拥有打造新企业的有力工具，经济将更具创业活力。"
- "每个人都将拥有一位个性化导师，精通所有学科、拥有无限耐心，帮助你学习任何知识。"
- "每个人都将受益于科学进步，并有机会为科学发展贡献力量。"
- "每个人都能免费或以可承受的价格获取这些工具。"
被回避的问题： 我最无法理解的是，扎克伯格将具备发明能力的AI系统与个人赋能混为一谈。文章多处默认两者必然捆绑，例如：
- "一个人一天能提出的问题有限，但超级智能为实现你的目标所能创造的价值事物是无限的。"
- "超级智能越能成为发明工具，个人能力就越有可能超越自动化，未来对人类就越有利。"
- "很快，每个人都将拥有发明超能力。"
- "我们迎来何种结果，取决于自动化与个人赋能、发明创造之间的发展平衡。"
重要意义——所有讨论中缺失的关键问题是："具备超人类发明能力的系统，是否只会为发明能力弱于它的人类实现个人赋能？"这无疑是核心问题。 我并非暗示超人类发明能力必然催生脱离人类的恶意实体，而是想说，很难将具备超人类发明能力的系统，与一种不会从根本上改变世界权力平衡的事物划等号——这种改变可能复杂且难以预判。扎克伯格似乎认为，普及这类系统将让拥有超级智能的个人与企业形成反脆弱的权力平衡。这当然是一种可能，但我很难认同这是必然结果。 延伸阅读： The Future is for Everyone（Meta）。
科技故事：
第一座生态建筑
这座生态建筑的建造，以机器的主观时间计算长达数千年，但在人类看来仅耗时一年。它体量庞大、结构复杂，其生长过程如同快进镜头中从泥土里破土而出的植物：断断续续地扩张，每一次延伸都达数公里。建筑的部分区域在扩建过程中就已投入使用；有传言称，首批亮起灯光的大厅专门用于让计算机协调后续建造阶段。机器出现故障时，会先评估其价值：若价值较高，就被送至附近维修后返回工地；若低于阈值，则当场报废拆解，用其零件继续施工。
每到夜晚，建筑附近会传来诡异的鸣响：既有风穿过尚未完工的纤细结构发出的声音，也有建筑缓慢运转的计算系统传来的风扇嗡鸣，还有彻夜施工的机器高速运作时切割空气产生的刺耳尖啸。对于住在附近的人类而言，清醒地躺着聆听这种预示着自身后继者的异质声响，想必是种奇特的体验。
创作灵感来源： 金字塔建造、高迪的圣家族大教堂、陵墓与未来陵墓。
感谢阅读！