GPT-6 Astra、循环Transformer与隐藏推理
过去几周发生了不少大事，想必OpenAI的GPT-6 Astra是当前所有人关注的焦点——尤其是它的性能表现、循环Transformer/递归深度机制，以及关于Astra"隐藏"推理轨迹（即思维链）的传闻。
本文中，我先谈谈对Astra的初步印象，以及对AI发展方向的思考；接着详细解析"循环Transformer"是什么，以及它是否真的与隐藏思维链有关；最后，在介绍完循环Transformer的基础概念后，我会分享该领域最新研究论文中的一些新见解。
1. GPT-6 Astra初印象
在聊架构传闻和相关研究之前，先简单总结一下我对GPT-6 Astra的观察和细节发现。
上周，OpenAI高调推出了GPT-6 Astra。我试用了几天，它确实是一款极其出色的模型，至少在撰写本文时，是我用过的最好的模型。但它到底在哪些方面做了改进？又是如何实现的？
1.1 Astra的基准测试表现
Astra是目前我用过的最优模型，尤其在3D渲染和动画任务上的表现远超其他模型。也就是说，它在写作、数学、编程等几乎所有领域都大幅领先前代GPT-5.6，但在图形演示类任务上的优势尤为突出。
这一点在基准测试数据中也有所体现。例如，GPT-6 Astra在数学和编程方面的表现十分亮眼，具体如下：
https://openai.com/index/gpt-6-astra/
值得一提的是（图表中未展示），Astra在ARC-AGI-3基准测试中达到了99.9%的准确率（GPT-5.6 Sol仅为7.8%）。该测试综合考察逻辑谜题求解能力和泛化能力。不过，数学、编程和计算机应用类基准测试更具现实意义，因为它们更贴近实际场景。
回到Artificial Analysis编码智能体指数v1.4（上图右下角），该指数融合了多项智能体编码任务。GPT-6 Astra虽处于领先地位，但并未拉开显著差距。下图的通用Artificial Analysis智能指数也反映了这一点，该指数涵盖各类任务，而非仅局限于编码。
Artificial Analysis的基准测试优势在于其独立性，因此相比模型开发者自行评估的结果，可能更具可信度。
测试框架的设置取决于具体基准。例如，GDPval-AA和AA-Briefcase在对比不同大语言模型（LLM）时，采用了开源轻量的Stirrup框架；在上图的智能指数v4.2中，Terminal-Bench v2.1使用Terminus 2框架，τ³-Banking则采用τ-Bench框架；独立的编码智能体指数还对比了不同的编码智能体框架。
采用共享框架的评估能实现更公平的"同类对比"。不过，模型训练通常会围绕某一核心框架展开，对其他框架的微调程度较低，而核心框架往往是为放大模型优势而设计的。
因此，部分智能体评估可能低估了Astra在其核心框架中的表现。要量化这对智能指数得分的影响，需在相同任务下跨框架对比Astra的表现。
顺便提一句，最近有同事建议（Claude Code负责人也推荐过），可以考虑删除（或归档）现有AGENTS.md和SKILL.md文件中的部分内容。因为新一代大语言模型理解提示词、解决问题的效率更高，过多的引导反而可能不必要地限制模型，导致解决方案质量下降。
当然，我并非建议彻底停用SKILL.md文件——在某些工作流中，复用这类文件能提升效率，避免模型重复探索。但有些工作流无需额外说明，旧的描述可能已不再适用，模型或许能自行给出更优方案。因此，是时候更新或重新生成这类指令文件了。
1.2 计算机应用能力
GPT-6 Astra在图像和渲染任务上表现格外突出。当这些任务涉及图形用户界面交互时，也体现了它的计算机应用能力——即模型可通过Codex/ChatGPT应用在本地计算机上操作软件。
计算机应用是Astra相较其他模型的核心优势，任何图形相关的演示在社交媒体上都直观吸睛。目前已有大量令人惊叹的演示案例，从用Blender渲染纽约市模型到虚拟开放参观，不胜枚举。
举个例子：我让GPT-6 Astra的Medium和High版本，通过鼠标在我的计算机上操作浏览器版MS Paint，重绘我的一张照片（没有用Extra High和Max版本，怕消耗太多token）。
这不仅展示了模型的艺术创作能力，更重要的是体现了它操作计算机工具的能力（在这个案例中是Paint，可通过鼠标光标看到模型如何操作界面）。
这并非首个能在框架内实现通用计算机应用的模型。例如，今年早些时候我就成功用GPT模型完成过一些UI任务（如Excel中的费用处理）。不过，计算机应用仍是一项相对较新的能力，由框架赋能，目前尚不成熟，这也合乎情理：大语言模型本质是文本模型，因此写作、编程、调用API和命令行界面（CLI）这类"低垂的果实"自然会先被攻克。
与此同时，许多工具和软件尚未提供CLI接口与其等待他人设计这类接口，不如改进模型使其能直接操作图形用户界面（如前所述，这也能生成精美吸睛的演示）。这有点类似人形机器人的发展：人形机器人在装配线上的效率不如专用机器，但胜在通用性强。
因此，我预计未来数月（或数年）将是大语言模型和智能体框架层优化计算机应用能力的时代。也就是说，除了现有能力以及数学和编程能力的拓展，模型训练会越来越侧重计算机应用场景。这也将让大语言模型在科技圈之外的日常计算机任务中更易用（比如"嘿ChatGPT，帮我报税"）。
1.3 计算机应用能力的训练方式
计算机应用的发展趋势，与近期报道中OpenAI购买数万台Mac Mini和Mac Studio用于强化学习的消息一致。这些Mac并非用于直接训练模型（训练模型用GPU更高效），而是在模型训练过程中提供macOS环境，让模型学习如何操作该操作系统及其中的工具。
那么，在这些Mac上进行计算机应用能力训练的具体流程是怎样的？简而言之，Mac（更准确地说是其macOS操作系统）是模型训练时可交互的环境，基本流程如下：
- 向模型下达任务，例如"打开应用xyz并完成abc操作"；
- 提供macOS界面截图（通常由框架完成）；
- 大语言模型预测鼠标/键盘操作（点击、按键、滚动等）；
- 在Mac上执行这些操作（同样由框架完成）；
- 操作完成后，将更新后的环境截图反馈给模型；
- 重复步骤2至5，直到任务成功或失败；
- 将成功/失败信号及验证器（或评分器）作为训练反馈，包括训练后的强化学习，这与常规的"带可验证奖励的强化学习（RLVR）"类似。
再次说明，Mac主要作为训练环境，而非运行或更新模型的机器。模型很可能部署在NVIDIA GPU上，通过API与Mac交互。顺便提一句，NVIDIA首席执行官曾提到，GPT-6 Astra的训练使用了约10万台Grace Blackwell GPU。
1.4 GPT-6 Astra仍是推理模型
上一节讨论的计算机应用能力训练，并未从根本上改变训练流程。GPT-6 Astra（以及可预见未来的所有大语言模型）本质仍是推理模型，即通过带可验证奖励的强化学习（RLVR）训练，并生成中间推理轨迹（思维链）。
关于GPT-6 Astra的推理模型特性（尤其是隐藏思维链的传闻），我会在本文后续部分展开讨论。
2. 循环Transformer
在Astra正式发布约两天前，新闻杂志The Information发表了一篇文章，援引内部消息称Astra采用了一种名为"递归深度"或"循环Transformer"的技术。
由于大语言模型架构是我的专业领域和研究兴趣所在，我制作了一段短视频，解释循环Transformer的基本机制，并回应关于隐藏思维链的说法，视频如下。
在接下来的小节中，我先解释什么是循环Transformer，之后再回到隐藏思维链的话题。
（关于循环Transformer的解释可能稍长，但我认为这有助于建立对该技术的基础理解，从而更好地判断它是否会掩盖推理轨迹或思维链。）
2.1 复用Transformer块
那么，什么是循环Transformer？
循环Transformer本质是对架构的一种调整，核心思路是让中间表征多次通过同一组Transformer块（而非仅一次）。与单纯增加块数量不同，这里的"巧思"是多次传递时权重保持不变。
定义与术语
本文将使用以下术语：
- Transformer块：包含注意力机制、前馈模块、归一化和快捷连接的单元，在论文中常被称为"Transformer层"；
- 堆叠：Transformer块的序列；
- 块应用：将输入通过Transformer块一次的操作。
循环Transformer并非全新概念，其基本思想早在2018年的Universal Transformers论文中就已出现。不过在讨论Universal Transformer之前，先来看一个更简单的例子：Nanbeige4.2-3B，这是今年7月发布的一款开源大语言模型，我曾在Substack的Notes和今年夏天的LLM架构库中介绍过它。
Nanbeige的架构乍看与常规Transformer类似，但注意到它有一个额外的（橙色）箭头，将输出循环回Transformer堆叠的起点。
我们从下往上梳理流程：与所有基于Transformer的大语言模型一样，输入文本先被分词并转换为嵌入向量，然后通过22个Transformer块，每个块都有独立权重。
而循环Transformer的特殊之处在于，首次通过后，隐藏状态会再次传入这22个块，即再次应用块1，接着是块2，直到块22。
如果将计算过程展开，相当于进行44次Transformer块应用。但与拥有44个独立块的常规Transformer相比，第二轮的22次块应用复用了第一轮堆叠的权重——例如，第23次块应用使用块1的权重，第24次使用块2的权重，依此类推。
核心思路就是在不增加额外Transformer权重的前提下，将有效深度从22次块应用提升至44次。
顺便问一句：为什么是2轮，而不是3轮、4轮甚至更多？Nanbeige的论文中没有太多细节，但提到这是效率最优的设置。将循环次数从2增加到3虽能提升模型性能，但额外的计算成本得不偿失。
2.2 循环的成本
那么，为什么要采用这种循环机制？本质上，这是一种替代方案——不用通过增加Transformer块数量来扩大模型规模。
例如，一个使用22个Transformer块并循环2次的模型，其Transformer块参数数量约为拥有44个独立块的常规模型的一半。
这减少了存储权重所需的内存。需要说明的是，嵌入层和输出层通常规模较大，占总参数的比例很高，但它们不在上述对比范围内（以Nanbeige 4.2 3B为例，嵌入层和输出层约占3B总参数的25%；若共享两者的权重，可降至12.5%）。
当然，循环复用块仍需计算：前向传播时要将中间输入通过44次块应用；训练时，梯度会反向流经共享堆叠的两次重复计算。因此，与仅使用22个块一次相比，计算量大幅增加，实际上与拥有44个独立块的模型成本相近（区别仅在于优化器需更新的独立参数更少，但反向传播仍需遍历所有44次块应用）。
还有KV缓存，它存储先前token的注意力键和值，在常规Transformer和循环Transformer的下一个token生成步骤中复用。顺便提一句，我写过一篇关于KV缓存的独立文章，供参考：
从零理解并实现LLM中的KV缓存
KV缓存是LLM生产环境中实现高效推理的关键技术之一。本文从概念和代码层面，通过从零开始的易读实现，解释其工作原理。
回到正题：尽管循环Transformer存在权重共享，但第二轮传入块的中间状态与第一轮不同，因此KV缓存中生成的键和值在两轮堆叠中也不同（与无循环的情况类似），所以KV缓存方面也没有节省。
举个具体例子：第1次和第23次块应用都使用循环Transformer中的块1，但每次应用仍需独立的KV缓存条目。因此，由于要为两次传递保留单独的缓存，重复的22个块堆叠与拥有44个独立块的常规Transformer具有相同的KV缓存需求。
有趣的是，Nanbeige的研究人员在论文中提到，他们尝试在多次传递之间共享KV缓存，这确实将KV缓存大小减半，但模型性能比使用独立缓存的版本更差（最终发布的是后者）。
在继续讨论其他循环Transformer设计之前，补充一下Nanbeige的技术报告[https://arxiv.org/html/2607.22083v1#S2.SS1]中提到的另外两个选择与权衡：
- 从 scratch 训练循环架构，比将预训练好的Transformer改造为循环架构的效果更好；
- 如前所述，两轮传递是他们偏好的权衡方案——更多轮次仅能带来微小的性能提升，却会减慢训练速度并降低优化稳定性。
因此，循环次数是另一个需要决定的架构选择。如Nanbeige所示，它可以是固定值，但也可以根据token动态调整，接下来我们就会看到这种情况。
2.3 Universal Transformers与灵活循环次数
现在回到Universal Transformers。Nanbeige是将22个Transformer块的堆叠重复两次，而2018年的Universal Transformer论文则是重复应用同一个Transformer块，而非堆叠，但核心思路类似。
循环次数可以是固定的，但论文也探索了自适应停止机制：例如，某个位置的token可能仅经过1或2轮循环，另一个可能经过3或4轮，依此类推。这让模型能够灵活地将计算资源分配给那些能从额外计算中获益的token。
循环次数如何决定？模型会使用一个小型的训练函数，在每一步为每个位置输出所谓的"停止概率"。将这些概率在连续循环中累加，当总和超过阈值时，该位置的循环就会停止。此外，还会设置最大循环次数以限制计算量。
另一个循环Transformer的例子是字节跳动的Ouro，我也在LLM架构库中介绍过它。例如，Ouro-Thinking 2.6B会将同一组48个Transformer块的堆叠重复4次，即192次块应用，但仅存储48个独立块的权重——这比Nanbeige的情况更极端。此外，它还通过一个学习到的退出门为不同的退出路径分配概率，累积概率达到阈值时，就由对应轮次的输出作为最终结果。这借鉴了Universal Transformer的自适应停止思想，而Nanbeige并未采用这一机制（不过有个实际限制：已发布的Hugging Face实现会先计算所有配置好的轮次，再选择输出，因此循环次数实际上是硬编码为4次）。
2.4 路由式灵活循环次数
另一种方法是Mixture-of-Recursions，这是2025年的一篇论文，本质是前述Universal Transformer的更复杂版本。与Universal Transformer类似，单个token会经过Transformer块一次或多次，如下图所示。但创新之处在于，每个token的循环次数是如何确定的。
在论文的下图中，循环（重复）堆叠被称为"递归块"，包含多个Transformer块，位于独立的第一个和最后一个Transformer块（标记为Layer 0和Layer L-1）之间。
模型如何决定一个token应经过递归块多少次？在之前讨论的Universal Transformer中，这基于每一步学习到的停止概率。而Mixture-of-Recursions方法使用一个小型的学习路由器，类似于混合专家（MoE）模型中的路由思想，但这里的路由决策是确定共享堆叠的应用次数。
路由器基于token的隐藏表征（包含上下文信息）进行操作，因此不能认为特定token的每次出现都会被分配相同的传递次数（例如图中的"People"一词并非总是经过3轮循环）——决策会根据该词出现的位置和前文语境而变化。
具体的路由方式是怎样的？论文探索了两种决策方式，如下图所示。
在左侧子图展示的专家选择路由中，每一轮递归都会选择要处理的token，退出的token不再参与后续步骤；在右侧的token选择路由中，路由器在初始阶段就做出决策，为每个token分配经过1次、2次或3次传递的路径。
两种情况下，Transformer权重都会在多次传递中复用，与Nanbeige等模型类似，但额外的灵活性在于可为每个token分配不同的计算量。模型和路由器一同训练，因此模型会在训练过程中学习适应这些不同的路径。
2.5 效果如何？
下图来自Mixture-of-Recursions论文，对比了常规Transformer（Vanilla）、固定递归次数的Transformer（Recursive）和Mixture-of-Recursions（MoR）在不同模型规模和计算预算（x轴）下的表现。
在最小模型规模下，常规Transformer表现最佳；对于较大的模型，Mixture-of-Recursions逐渐追上并通常表现更优，尤其是在训练预算较小时；在最大预算下，几条曲线非常接近。因此，优势取决于模型规模和训练投入的计算量。
另一个细节是，相同的训练计算量并不一定意味着相同的训练token数量——通过跳过部分计算，Mixture-of-Recursions在相同预算下可以处理更多token。
我认为这是一个有趣的例子，它表明循环Transformer的思路包含多种选择，比如每个位置的循环次数是多少，以及如何决定这个次数。
简而言之，当模型足够大时，使用循环Transformer能在固定计算预算下提升模型质量（这也说明了大规模实验的重要性：例如，仅看1.35亿参数的小模型，我们会得出相反的结论）。
3. 题外话：循环神经网络（RNN）
如果你有深度学习背景（甚至了解1990年代的人工神经网络），这种循环或"递归深度"的概念应该有些熟悉——还记得循环神经网络（RNN）吗？RNN的核心思想就是在不同迭代中复用层（权重）。
主要区别在于，RNN是在时间步之间复用权重，即隐藏状态从一个token传递到下一个token；而循环Transformer中，token的循环是在架构深度维度上进行的。
换句话说，在常规RNN中，每一步接收输入序列的下一个元素和上一步的隐藏状态。因此，当RNN处理一段文本时，它会逐个读取单词或token，并将前面单词的信息通过隐藏状态传递下去。
在循环Transformer中，某个token的中间表征会多次经过Transformer堆叠，模型仍通过注意力机制在token之间传递信息。
如果这个类比让你感到困惑，也不必过于纠结。或许更简单的理解方式是：循环Transformer就是复用Transformer块，类似于通过权重共享来扩大模型规模。
4. Astra真的使用循环Transformer了吗？
在讨论循环Transformer机制是否会掩盖推理轨迹（如The Information之前报道的传闻）之前，我们先看看GPT-6 Astra是否真的采用了循环Transformer的概念。
需要明确的是，这仍只是传闻或独家爆料，尚未得到官方证实。如果模型是开源的，我们当然可以自行验证，但目前只能依赖未经证实的报道。
不过，我认为GPT-6 Astra很可能采用了循环Transformer的相关技术。首先是上述报道的存在；其次，如前所述，该技术在过往研究中已展现出潜力，没有理由不采用；第三，OpenAI首席科学家曾表示：
[...] 我们当前前沿模型（包括Astra）的计算图深度，是GPT-4的两倍以内。 [...]
但这并未明确证实循环Transformer架构，也可能只是指他们使用了两倍于常规数量的Transformer块。
在我看来，Astra的成功（即出色的模型性能）可能主要归功于其他因素，即改进的训练方法和训练数据。
循环Transformer的调整可能有一定帮助，但我认为The Information高估了它的贡献。
5. 隐藏思维链
接下来，终于要讨论那个最受关注的问题：循环Transformer会掩盖推理轨迹吗？
首先，从OpenAI推出o1模型开始，就一直在向用户隐藏（大部分）推理轨迹。因此，对于终端用户而言，应该不会有太大区别。
这种解读层面的担忧，主要针对模型开发者。
无论如何，我认为循环Transformer并非隐藏或掩盖思维链的主要原因。为解释我的观点（并非双关），我们先退一步，说明推理模型的工作原理。
5.1 推理简述
推理模型通常会在生成最终答案前产生中间步骤。这些步骤使用常规文本token（在某些用户界面中可选择对用户隐藏），被称为推理轨迹或思维链。
例如，假设我们要求找出两个数，它们的和为10，乘积为21。下图中，模型先尝试5和5：和是对的，但乘积是25而非21；接着，它尝试3和7，并再次验证两个条件。
该图展示了推理模型的"推理"过程，包括回溯——即模型发现错误后，回到之前的选择，尝试不同的方法。
需要注意的是，模型仍以逐个生成token的方式工作，以提示词和之前的token作为上下文。因此，这些中间步骤相当于草稿纸，在生成最终答案前增加了计算量。
最终答案可能比之前的推理轨迹短得多，如上述例子所示（OpenAI通常会向用户隐藏大部分推理轨迹）。
如需了解更多关于推理模型的知识和开发方法，推荐我的著作《从零构建推理模型》[https://amzn.to/4aAKiFY]。
《从零构建推理模型》[https://amzn.to/4aAKiFY]涵盖了推理模型的基础知识。
5.2 Token使用与更短的思维链
推理轨迹中的额外token会增加计算量，而循环Transformer也会增加计算量，因为token要经过更多Transformer块。有人可能会认为，采用循环机制的模型在内部使用了更多计算，因此不需要那么多外部的"思考token"。
下图是GPT-6基准测试的部分数据，x轴为输出token数量。
https://openai.com/index/gpt-6-astra/
可以看到，总体而言，在不同任务难度下，GPT-6 Astra使用的token数量并不一定比前代GPT 5.6 Sol少。但在准确率相同的情况下，GPT-6 Astra确实比GPT 5.6 Sol使用的token更少。
这会带来可解释性方面的担忧吗？不一定。使用更少token可能只是因为模型能力更强、犯错更少、回溯更少，也就是能一次就把事情做对。在我看来，这并不会直接引发可解释性方面的担忧。
其实，前代模型也是如此。没人会强烈认为GPT 5.6 Sol比更小的GPT 5.6 Luna模型的可解释性差很多，而Luna在达到相同任务性能时使用的token要多得多，如下图所示。
事实上，我们可以看到，在模型性能相近的情况下，Luna使用的token比Sol多80%。这会让Sol的可解释性大幅降低吗？
更合理的解释是，能力更强的模型（更大、训练更充分、使用更多计算资源）能更高效地解决问题，这里的"高效"就意味着使用更少token。
还需记住的是，推理轨迹并不一定能如实反映模型内部发生的所有事情。在我看来，唯一合理的担忧是：循环Transformer会比常规Transformer更频繁地生成"虚假"推理轨迹，从而误导用户。但目前没有有力证据表明这种情况正在发生。
不过，Astra的系统说明提到，确实有证据显示其推理轨迹的可监控性有所降低，相比Sol出现了一定程度的倒退，主要表现为轨迹更短、信息量更少。但这同样不能证明循环机制是根本原因——这可能只是因为轨迹本身更短，就像上述Luna与Sol的例子一样。
在我分享了关于循环Transformer与隐藏思维链的观点几小时后，OpenAI首席科学家Jakub Pachocki也发表了如下澄清：
我想避免因报道误导而引发一场"不可监控竞赛"。我们当前前沿模型（包括Astra）的计算图深度，是GPT-4的两倍以内。自首款推理模型推出以来，OpenAI一直致力于保留和利用思维链监控技术。我们高度重视这项技术，因为它能让我们了解模型对齐如何从训练分布泛化到其他场景。我认为这项技术很脆弱，且不幸正朝着消极方向发展，但原因与架构变化无关，我很快会撰文说明。不过我们可以采取措施强化它，这也是我们当前研究项目的核心目标。
这里提到的"误导性报道"很可能指The Information的上述文章，暗示循环机制与思维链的变化无关。
6. 循环Transformer相关研究
最后，我想分享一些除前文讨论之外的、与循环Transformer架构相关的有趣论文。
6.1 潜在推理
与Universal Transformer相关的是2025年的论文《通过潜在推理扩展测试时计算量：一种递归深度方法》[https://arxiv.org/abs/2502.05171]，研究了模型如何在推理时使用额外的循环。研究人员训练了一个规模适中（不算极小）的35亿参数模型，训练数据为8000亿token。
与Universal Transformer中重复应用同一个块不同，该模型像Nanbeige一样重复堆叠，但与Nanbeige的区别是，它在4个共享块的堆叠前后各加入了2个初始块和2个最终块。
另一个与Nanbeige的不同之处是，共享堆叠在每轮循环开始时，除了接收上一轮的隐藏状态，还会接收初始块的输出。两者被拼接后，通过一个学习到的线性投影，再传入4个共享块。可以理解为让堆叠在每一轮都能访问相同的初始输入表征。整个结构如下图所示。
简言之，这是另一种有趣的循环Transformer变体。
一个有趣的细节是，研究人员在训练时会改变循环次数，让模型为推理时使用不同计算量做好准备。
训练时，循环次数是随机采样的；推理时，由运行模型的人选择固定预算，如8、32或64次循环。此外，他们还为每个token设计了自适应停止机制：如果连续两轮的下一个token概率分布的KL散度低于某个阈值（即分布过于相似），就停止循环。
整体收益因任务而异：在他们的评估中，HellaSwag任务的性能在约8次循环后基本趋于平稳，而GSM8K和HumanEval任务则能从更多循环中获益。
不过，尽管论文标题提到"潜在推理"，模型仍能生成文本形式的思维链——循环只是让它在生成每个输出token前进行更多计算。
6.2 知识检索与推理的区别
存储信息和利用信息解决问题之间有一个重要区别。例如，2025年6月的论文《超越参数：探索缩放定律中的虚拟逻辑深度》[https://arxiv.org/abs/2506.18233]通过分别测量大语言模型的记忆能力和推理能力，对此进行了研究。
首先，在记忆实验中，当参数数量固定时，循环机制几乎不会改变模型存储的信息量；增加独立参数数量则会提升存储容量。由此可得出结论：循环机制不会增加模型的知识存储或检索能力。这合乎情理，因为一旦信息被存储，知识检索就是相对简单的任务，而循环本质是计算机制，而非"存储"机制。
其次，在单独的推理实验中，复用块能提升多步数学问题的性能，且无需增加参数。这很有趣，说明即使没有更多存储空间，额外的计算也能帮助模型解决问题——当然，更大的模型也能提升推理能力（尽管会增加参数）。
6.3 计算预算匹配下的循环机制
2026年9月刚发布的论文《SMELT：计算量匹配的MoE循环Transformer缩放定律》[https://arxiv.org/abs/2609.01343]回到了2.2节讨论的成本对比问题：如果在每token计算量、总非嵌入参数和KV缓存要求大致相同的情况下，对比循环Transformer和常规Transformer，会发生什么？
研究人员采用混合专家架构，并将中间一半的Transformer块应用两次，有点像Nanbeige，但结合了潜在推理中的"三明治"结构。
不过，他们缩小了隐藏维度，以补偿额外块应用所需的计算量；由于参数数量因此减少，他们又增加了专家数量以恢复总参数规模；同时调整注意力头配置，使KV缓存需求保持相当。
实验规模扩展到540亿非嵌入参数等。通过拟合缩放曲线，研究人员估计，在研究的计算范围内，SMELT达到相同验证损失所需的训练计算量约少6.8%-18%。
这回答了循环Transformer在计算上是否值得的问题：值得！在相同计算预算下，它们能带来性能稍优的模型。
6.4 全带宽Transformer
最后是2026年8月发表的《全带宽Transformer》[https://arxiv.org/abs/2608.08888]论文，研究了token位置之间的递归机制。在每个解码步骤中，它通过一个学习到的门控，将前一个token的最终隐藏状态与新采样token的嵌入向量相结合，作为下一次前向传播的输入。
因此，下一个token的计算能访问前一个token在堆叠底部的最终表征，这与潜在推理有几分相似。
使用10亿参数的基础模型时，研究人员发现，这种潜在反馈方法在MATH500任务上生成的推理轨迹更短，同时保持或提升了准确率。不过，经过指令微调后，这种缩短效应消失了。
CC BY 4.0，添加了定义和说明。
这很有趣，因为它直接关联到之前关于循环是否会导致更短推理轨迹的讨论。结果当然取决于反馈机制和模型训练方式，而且实验也未证实这些更短的轨迹是否可信度更低。
此外，该研究的一个重要局限是：他们未测试通过常规方式扩大模型（增加Transformer块而非循环）是否会对推理轨迹长度产生类似影响。
结论
总结一下：OpenAI的GPT-6 Astra确实是一款非常强大的模型，尤其在计算机应用能力上实现了巨大飞跃。我认为未来数月，计算机应用将成为开源和专有框架的下一个重点领域。对于计算机应用而言，开源尤为重要——"能力越大，责任越大"，在让框架访问我的主计算机之前，能对其进行审计是件好事。
此外，GPT-6 Astra很可能采用了某种循环Transformer变体。循环Transformer能在固定计算预算下带来更优的模型性能。
性能提升可能会导致思维链缩短，但这并非新趋势——在同一模型系列的不同规模模型中（如GPT 5.6 Luna与Sol），我们一直能观察到这种现象。
在我看来，更短的推理轨迹是模型更"智能"、能力更强的副作用：它们犯错更少，能在架构内部利用更多计算，而非依赖思维链作为草稿纸。这有点像人类：在大学数学考试中，聪明且准备充分的学生可能更少使用草稿纸，也更少需要回溯。
感谢阅读并支持我的工作！
如果你想学习如何自己构建推理模型，可以看看我的书《从零构建推理模型》[https://amzn.to/4aAKiFY]。我们从预训练大语言模型开始，逐步添加推理能力，附带可运行和实验的代码。这过程既有趣又有收获，也是为未来的自己投资，打好基础以跟上AI领域的发展步伐。
另外，如果你读过我的某本书，欢迎在亚马逊上留下简短的诚实评价。评价能帮助其他读者判断书籍是否适合自己，也是支持作者的简单方式。
本书涵盖推理时缩放、蒸馏和强化学习内容。