过去两年间，OpenAI一直在悄悄研发一款名为“Jalapeño”的推理芯片，如今这款芯片终于在Hot Chips大会上正式亮相。此前已有传言称该芯片流片成功，现在我们终于获得了详细信息。OpenAI邀请我们近距离观摩这款芯片，参观实验室验证其真实性，并使用我们的InferenceX测试套件对它进行基准测试。

今年6月，OpenAI宣布与Broadcom合作启动芯片项目，从零开始专为大语言模型（LLM）推理打造这款芯片。设计工作始于2024年年中，从组建团队到完成流片仅耗时约16个月，这在ASIC开发周期中堪称极速。

通常第一代芯片很难具备竞争力，但OpenAI打破了这一规律——Jalapeño的性能达到行业领先水平，在多款主流开源模型测试中，击败了我们所能拿到的所有英伟达、AMD和谷歌芯片。这得益于OpenAI深度的软硬件协同设计。令人意外的是，OpenAI并未过度专注于模型推理的某一特定环节，而是将其打造为一款能在全场景下提供高性能的通用芯片。

本文将深入解析Jalapeño的架构细节、软件特性，以及在InferenceX测试中的性能表现。

OpenAI

一款通用型推理芯片

外界普遍认为OpenAI的这款芯片是为自家模型量身定制的，但事实并非如此——OpenAI打造的是一款通用型AI推理芯片。

其研发速度之快令人惊叹，也印证了“AI加速芯片设计”的说法绝非空谈。尽管周期极短，但OpenAI投入了大量资金，做出了务实的设计决策，再加上团队实力强劲，取得这样的成果也就不足为奇了。

单看参数规格，Jalapeño就已是有力竞争者：

而它搭载的HBM4内存，使其能与英伟达、AMD的旗舰GPU比肩：

不少媒体报道引用了OpenAI的只言片语，称这款芯片会针对自家模型做专属优化，这其实是误解。Jalapeño是一款通用推理芯片，能运行各类模型与负载，包括我们的InferenceX基准测试——我们已与OpenAI工程师在实验室共同完成了测试。OpenAI甚至开玩笑似地向我们展示了用Codex指令移植到该芯片上运行的《毁灭战士》（Doom）游戏。

以下是我们的核心能效测试结果：按每兆瓦综合能耗的token吞吐量计算，Jalapeño的表现远超其他所有芯片。需要说明的是，Jalapeño未启用多token预测（MTP）技术，而图表中其他芯片均采用了各SKU的最优配置且全部开启了MTP。

即便未针对任何特定场景优化，Jalapeño在几乎所有场景下的能效表现都优于Blackwell芯片。它不仅在低延迟场景中表现出色，在高吞吐量场景下同样亮眼。若对比单token预测（STP）结果，Jalapeño更是将所有竞争对手远远甩在身后。在低并发场景下，Jalapeño展现出极佳的交互性能：在并发数为1时，运行DeepSeek R1模型的单用户token吞吐量超过每秒700个。

更令人惊叹的是，这些成果都是在仅启用单token预测（STP）、未使用 speculative decoding（投机解码）、未拆分预填充与解码环节的情况下实现的。除DeepSeek R1外，我们还测试了其他模型，包括Kimi-K2.5和GPT-OSS，它们的单用户token吞吐量约为每秒1400个。我们确认，所有测试模型在Jalapeño上的GSM8k评估结果与英伟达芯片相当。

不过需要注意几点：首先，所有数据均由OpenAI提供。我们在实验室现场验证了InferenceX的测试过程，但并未运行完整的InferenceX基准测试套件，也未看到AgentX的测试结果。AgentX是我们更青睐的芯片性能对比套件，其数据集具备长上下文和多轮对话特性，能反映真实生产环境下的缓存行为。在8k1k测试中表现优异的框架，在AgentX中可能表现不佳，因为真实生产负载会给路由器、前缀缓存机制、缓存管理、卸载基础设施等组件带来更大压力，而这些都是单轮8k1k测试无法覆盖的。更多细节可阅读我们的AgentX相关文章。

其次，我们认为将Jalapeño与Blackwell对比并不全面，也有失公允。Jalapeño的真正竞争对手是同样采用HBM4的Rubin芯片。目前Vera Rubin系统已开始向客户出货，而OpenAI的Jalapeño仍处于工程样品阶段，距离量产还有一段时间。

因此，性能对比的参照对象应是Rubin而非Blackwell，从某种意义上说，我们预计Jalapeño这类定制芯片的性能会超过Blackwell。正如我们上月在分析英伟达与CoreWeave联合发布会上的性能声明时所写，Vera Rubin NVL72的能效（每兆瓦吞吐量）是GB200 NVL72的5.4倍。下文我们将把Jalapeño与Vera Rubin今年7月公布的性能数据进行对比。

第三，本次测试所用的模型并非最前沿的。英伟达和AMD已发布了在更大模型（如DeepSeek V4 Pro和Kimi K3）上运行AgentX的测试结果。模型越大、版本越新，在新芯片上适配的难度就越高。不过，OpenAI在Jalapeño上测试的模型体量也并不小。

性能分析

OpenAI的设计核心是能效比（perf/W）。原因很简单：OpenAI目前的瓶颈是数据中心的供电能力，而非预算或场地空间，因此每兆瓦能耗的token产出量至关重要。在2026年台北国际电脑展（Computex）上，黄仁勋（Jensen）表示，能效、可靠性和长寿命是未来GPU的核心特性。他提到：“如果你有1吉瓦的电力，那么每瓦吞吐量就是收入。”他还指出，不能仅仅因为芯片价格更低就选择错误的架构。

英伟达在2026年Hot Chips大会上介绍Vera时，也展示了相同的营收图表，并强调：“如今的数据中心受限于供电能力。”电力供应直接影响营收。

运营商无法轻易获取更多电力，因为添加GPU和升级电网的周期完全不同。数据中心的电力上限受限于电网互联能力、基础设施、冷却容量以及不间断电源（UPS）/备用发电机设计。电网升级的速度往往跟不上硬件部署和数据中心建设的节奏，这催生了“电表后”（BtM）供电方案：在数据中心内部部署燃气轮机和现场发电机，直接为设施供电，无需等待电网互联和公用设施升级。xAI的Colossus 2就严重依赖这种方案，因为其电网连接进度远远滞后。更多细节可阅读我们的能源模型。

正如我们在X平台（原Twitter）的帖子中所写，每秒每兆瓦token吞吐量（tok/s/MW）本质上等同于每焦耳token产出量（因为1瓦=1焦耳/秒），这一指标能体现系统将能源转化为token的效率。

SemiAnalysis

在这方面，即便与Rubin相比，Jalapeño依然胜出。OpenAI Jalapeño在单token预测（STP）模式下的每兆瓦输出token吞吐量，超过了英伟达和CoreWeave今年7月公布的Vera Rubin多token预测（MTP）结果，也远超GB200在2025年的MTP结果。正如我们在Vera Rubin相关文章中所述，当时将Vera与2025年的GB200对比，是因为两者处于相似的早期适配阶段，能保证软件成熟度一致。遵循这一逻辑，我们将Vera Rubin 2026年7月的最新结果、GB200 2025年的结果与当前Jalapeño的结果进行对比。这一对比非常合理，因为Rubin的公开数据已是最优水平，且Jalapeño的流片时间晚于Rubin。目前两者的软件都尚未成熟，未来性能仍有提升空间。

在总拥有成本（TCO）能效方面，Vera Rubin与Jalapeño不相上下，每美元产出的token数量几乎相同。但需要注意的是，Jalapeño的测试结果未使用投机解码，而Vera Rubin的结果则启用了该技术。投机解码可使每token成本降低约3至5倍。一旦Jalapeño也启用投机解码，其token服务成本将进一步降低。当然，Jalapeño的部分TCO优势源于选择了利润率低于英伟达（但仍较高）的Broadcom芯片，但这并非全部原因。例如，Meta和微软的AI ASIC项目耗时更久却未能落地，说明成本只是考量因素之一。关于Jalapeño的完整TCO分析，可查看SemiAnalysis AI云TCO模型。

架构上，OpenAI选择不将预填充与解码（PD）环节拆分到不同的芯片池。草稿模型与主模型共享同一批芯片和互联架构，这种设计理念牺牲了部分理论效率，换来了更灵活的实际运营能力。原因在于，工作负载的构成会随时间变化——例如，随着模型从知识时代、推理时代演进到智能体时代（正如我们近期文章所讨论的），输入、缓存写入、缓存读取与输出token的比例已发生显著变化。因此，预先固定异构预填充芯片与解码芯片的数量，长期来看会导致资源浪费。OpenAI选择了同构芯片池的架构，力求让芯片在所有环节都有出色表现。

而Jalapeño确实做到了。在Kimi K2.5（Cursor Composer 2.5的基础模型）上，Jalapeño的单用户token吞吐量接近每秒700个，是第二名（每秒100个）的近9倍。

在GPT-OSS上，Jalapeño的优势更为显著。在相同交互性下，Jalapeño的每兆瓦吞吐量几乎是GB200峰值的两倍，更是GB200并发数为1时的50倍以上。Jalapeño在高并发场景下使用了EP8配置。

这些结果令人印象深刻！但我们也必须指出：测试仅采用了8k1k场景，这是相对容易优化的负载，且目前尚未进行AgentX测试。正如我们在AgentX相关文章中所述，多轮对话、长上下文的工作负载会对服务栈的更多环节（如路由器和前缀缓存）造成压力，要在智能体负载中表现出色，还需要更多优化。更多细节可阅读AgentX文章。

规格与架构深入解析

以上所有测试结果均来自Jalapeño的A0版本，此时项目仅启动9个月。而目前B0版本已进入晶圆制造阶段！B0版本在能效比上比A0提升了约25%。具体而言，B0版本采用台积电N3P工艺，单颗全尺寸计算芯片可提供13.4 PFLOPs的MXFP4算力。相比之下，尺寸相近、工艺相同的Rubin计算芯片可提供17.5 PFLOPs的NVFP4算力。

考虑到Jalapeño的热设计功耗（TDP）仅为700W，而Rubin计算芯片的TDP为900-1150W，这样的表现已相当出色。由于Jalapeño专为推理设计而非训练，OpenAI无需通过提高TDP来最大化浮点运算能力，即便如此，其峰值理论浮点算力依然可观。

与其他加速器直接对比，Jalapeño拥有最高的每瓦HBM带宽和每瓦浮点算力，可与功耗1800W的Rubin Max-Q配置媲美：

芯片的外部I/O由一颗N3E工艺的I/O小芯片提供，配备32通道800G SerDes用于计算互联，其中24通道（600GB/s）用于机架内本地扩展，8通道（200GB/s）用于跨机架全局扩展，支持最多2048颗XPU的多机架集群。系统I/O采用PCIe Gen 5接口，连接x86主机CPU。

Jalapeño将搭载HBM4内存，使其成为英伟达、AMD之后较早采用该技术的芯片之一，甚至领先于成熟的TPU和Trainium项目。Jalapeño的核心设计原则之一是充分挖掘HBM带宽潜力，因此必须选用最先进的HBM内存。这使其单封装内存带宽达到15.4TB/s，超过了所有采用HBM3E的在售加速器。15.4TB/s的带宽表明其HBM4的引脚速度可达10Gbps，相比英伟达Rubin中HBM4的9.6Gbps略有优势。该HBM内存大概率由三星提供。

OpenAI于2025年11月完成Jalapeño的流片，更准确地说，是完成了CoWoS封装设计的流片，而非仅顶层芯片。在流片后的9个月内，仅用3个月完成硬件适配，OpenAI就已取得了优异的测试结果。更令人惊叹的是，其软件栈完全是从零开始搭建的。

与此同时，Rubin的CoWoS流片于2025年10月完成，比Jalapeño早一个月，但目前我们仅能看到CoreWeave提供的工程样品测试结果。英伟达并未像OpenAI那样允许我们进行测试并发布基准数据，这表明其芯片的软件仍不成熟。考虑到OpenAI能如此快速地在自研芯片上适配新模型，CUDA的壁垒可能已不复存在。

目前两款芯片都远未达到最优状态，但Jalapeño的测试数据更为出色。我们并非认为英伟达硬件性能不佳，而是Jalapeño的软件适配进度比英伟达更快。这体现了软硬件协同设计的力量，也是前沿实验室ASIC团队相比成熟商用芯片厂商的优势所在。看似矛盾的是，从零开始反而可能帮助OpenAI做出更简洁的架构决策，无需考虑向后兼容或旧版本软件的限制。

目前OpenAI拥有Jalapeño的工程样品，量产计划于2027年逐步推进，大部分产能预计在2027年底释放。关于产量和平均售价（ASP）的更多细节，可查看SemiAnalysis加速器模型。

简言之，OpenAI Jalapeño是一款真正的大规模量产ASIC芯片。

对比Rubin的研发 timeline，Jalapeño的进度快得惊人。如前文所述，尽管Rubin起步更早，但Jalapeño的测试结果反而更优。

Jalapeño架构细节

深入来看，Jalapeño的矩阵引擎采用MXFP数值格式和权重固定的脉动阵列，与TPU类似。但与TPU相比，它支持更小的矩阵形状/维度，不会因矩阵形状不匹配而出现性能骤降的情况。

此外，它还配备64位标量核心和FP32/INT32向量核心。OpenAI在托盘级别设计了冗余机制，并在核心和通道层面实现了良率提升。他们表示，AI辅助芯片设计使SIMD单元面积减少8%，矩阵引擎面积减少10%。虽然未明确具体的工艺/电压/温度（PVT）条件，但他们提到AI辅助设计的模块相比初始版本，在时序和功耗上都有所优化。

Jalapeño的架构设计重点在于减少KVCache和权重的内存移动，消除固定延迟和开销，从而在小批量或特殊形状的负载下，也能更接近硬件的峰值浮点算力和带宽。

核心与HBM内存被划分为多个切片，每个核心切片可低延迟访问对应的HBM切片。切片之间通过高带宽专用集合网络同步。这种极简的内存层次结构，相比GPU复杂的内存系统（内存访问需经过多层结构，导致高延迟，必须通过大负载来分摊或隐藏），已为Jalapeño带来了潜在优势。

这种设计之所以可行，是因为通过合理放置权重和KV缓存，核心间的同步可被限制在特定的高带宽通信场景（如张量并行通信），且能与计算过程重叠进行。

芯片还配备了一个通用网络-on-chip（NoC），用于通用通信和访问扩展网络。总体而言，与英伟达和谷歌的方案相比，OpenAI通过简化NoC和内存子系统，节省了大量功耗并获得了显著的性能提升。

核心层面，OpenAI采用了带有L1缓存的乱序执行（OoO）核心，这与其他加速器普遍采用的“软件管理 scratchpad + 异步DMA”模式截然不同。OpenAI的理由是，这种设计可避免固定开销（如屏障延迟）——在GPU等其他加速器上，这类开销必须通过增加单核心负载来分摊或隐藏，导致难以接近硬件的峰值带宽和算力。

当然，这种设计也有 trade-off：Jalapeño依赖高效的预取机制来确保内存请求及时响应，而预取的可预测性较差，也更难调试。不过，借助Codex工具和详细的追踪数据，针对特定形状的负载找到最优预取策略的内核，可能无需太多人工干预。我们认为，这正是OpenAI能快速适配DeepSeek R1、Kimi K2.5和GPT-OSS等模型的原因。

Jalapeño的核心还支持“小”矩阵维度，这使其能更广泛地适配不同模型和批量维度，减少对矩阵维度对齐、填充开销和分块效率的敏感度。例如，TPU、Trainium和Etched芯片的脉动阵列非常大，需要大批量或维度完全匹配的模型才能避免分块效率低下的问题。

OpenAI在Jalapeño的设计中致力于消除系统中的固定延迟，使其在帕累托曲线的所有区域都能尽可能接近硬件极限性能。理论上，这使其在多个运行场景下都能超越GPU：

• 在低延迟/小批量推理场景下，上限性能远超GPU——这类场景下GPU的性能受限于启动延迟、屏障延迟、内存系统延迟等诸多固定开销；
• 在大批量或长上下文场景下，也有可能更接近硬件极限性能。

但需要注意的是，即便理论上具备上限性能，实际内核也可能难以完全发挥。因此OpenAI的策略似乎是：

• 设计能在所有负载形状下达到最高上限性能的硬件；
• 让Codex完成寻找最优内核的繁琐工作。

从OpenAI团队能如此快速地在Jalapeño上适配InferenceX负载来看，我们对这一策略持乐观态度。

如果Jalapeño取得成功，将强烈表明：行业对编程模型和完美通用编译器的痴迷，在前沿AI模型面前已不再适用。

软件层面

OpenAI编写Jalapeño内核的方式类似汇编语言。每个内核都经过手工调优，部分代码长达约3000行，并配有正确性检查和自定义调试工具。早期内核开发采用人机协作模式，而非完全自动化，但随着内部版Codex的规模化应用，这一模式已转变——OpenAI计划将这款内部版Codex推向企业客户。其内部服务引擎名为“Teacup”。有趣的是，直到用InferenceX测试DeepSeek模型时，OpenAI才开始开发MLA内核。Codex能在无需内核工程师干预的情况下，快速生成功能完善且高效的内核，充分展现了其软件流水线的开发能力。

OpenAI使用Gluon语言为Jalapeño编程。Gluon是OpenAI基于Triton开发的内核编程语言，保留了Triton的单程序多数据（SPMD）编程模型，但提供了底层编程抽象。例如，针对英伟达GPU，它提供了映射到PTX指令的API，包括MMA指令、TMA指令、mbarrier机制等。Gluon最独特的抽象是布局（Layout）。通常来说，布局定义了硬件资源（如第9个warp的第5个寄存器）与张量元素（如第6行第7列的张量元素）之间的映射关系。Gluon的布局抽象基于OpenAI自研的线性布局（Linear Layouts）布局代数。线性布局从数学上规范了布局的定义，并提供了操作布局的工具，支持可证明正确的布局转换和最优内存混洗等功能。

在Jalapeño的编程模型中，每个Gluon程序对应一个持久线程。这暗示Jalapeño适合持久内核编程模式：程序在多个tile上执行，由程序员而非硬件调度器分配任务。OpenAI提到了TensorInfo抽象，它显式编码了布局信息，这可能是专为Jalapeño设计的布局集合，由线性布局提供支持。此外，每个核心都具备数据预取和解耦乱序执行单元。例如，用户可编写代码，等待预取的数据（由信号量锁定）就绪。

颇具戏剧性的是，目前运行在英伟达GPU上的GPT 5.6 Sol等OpenAI模型，反而被用来设计一款可能打破CUDA壁垒的芯片——英伟达自己的GPU正在实时助力潜在替代者的诞生。

从时间维度看，Jalapeño的开发速度惊人：在不到两周的时间里，某些交互场景下的吞吐量提升了一倍以上。我们从Jalapeño团队收到的每个测试包都带来了新的惊喜。

不仅内核性能有所提升，在8天内，Jalapeño团队还在原有的TP8配置基础上实现了TP32支持，并从单系统扩展到全机架配置运行大模型。这样的开发速度着实令人惊叹。

为在实际硬件测试前验证性能，OpenAI开发了一款名为“chilisim”的模拟器，其结果与实测硬件的误差在5%以内，采用固定宽度的追踪总线。A0版本的追踪功能有限，但B0版本已大幅改进，可能融入了A0硬件的实际运行数据。工程师展示了Codex命令行工具运行内部模型“Raiku”（又称“5.3 Codex Spark”）的场景，单token生成时间（TPOT）仅为1.2毫秒。

团队还展示了由Codex编写、直接在芯片上运行的演示程序：帧率36FPS的《毁灭战士》、FP32流体动力学模拟，以及“Liquid Light”鼠标拖拽可视化效果。

模型层面，OpenAI采用内部“巨内核”（gigakernel）方案，围绕单个巨内核在设备上循环执行，以减少CPU开销和启动时间。团队还在进一步探索测试时计算策略，尤其关注如何高效利用100万次推演。

是否拆分预填充与解码？这是个问题

前文提到，OpenAI未在Jalapeño上采用预填充-解码拆分（PDD）方案。这令我们感到意外，因为英伟达和AMD的GPU能从PDD中显著提升性能，即便在同构硬件上也是如此。让我们深入分析Jalapeño团队为何选择这一路线。

当工作负载固定时，预填充-解码拆分看似颇具吸引力。预填充与解码对硬件的压力不同，将两个阶段分配给各自优化的芯片池，可在特定输入输出比下提升效率。但实际生产流量的比例并非固定不变：输入输出序列长度、并发数、缓存命中率、投机解码接受率、延迟目标等都会随时间变化。

一旦将设备划分为预填充池和解码池，预填充需求过高会导致解码芯片闲置，请求排队；反之，解码需求过高则会导致预填充芯片闲置。运营商必须持续预测最优拆分比例，在两侧预留备用容量，并不断重新平衡一个理想比例时刻变化的系统。

在统一系统中，某些资源在特定阶段可能利用率不足，但所有设备都能随时响应下一个请求。而在拆分系统中，整个芯片可能仅仅因为属于“错误”的池而闲置。局部利用率看似更高，但全局利用率可能很低。

拆分还会破坏数据局部性。预填充阶段生成的大量KV缓存需要立即被解码阶段使用，因此系统必须通过网络传输这些状态才能继续生成token，这会增加带宽消耗、同步开销、排队延迟，并引入新的故障点。成本还会随输入序列长度增加而上升，因为KV缓存会随之增大。不过，避免KV缓存移动主要是为了优化功耗和延迟；若愿意承担一定的功耗和单请求延迟损失，移动部分KV缓存可提高硬件利用率。

统一的算力集群可灵活调整资源，在低延迟请求和高吞吐量批量任务之间切换；而固定拆分的集群，一旦流量构成变化，就会导致硬件闲置。此外，上下文长度会改变注意力机制与前馈网络（FFN）的工作比例，使得任何固定的硬件比例仅在设计点附近高效。

这一限制同样适用于投机解码。草稿模型必须以极低延迟向验证模型提供候选token，若将两者拆分到不同的专用芯片池，原本紧密耦合的解码循环就会变成分布式协议，额外的通信和协调开销可能抵消投机解码节省的延迟。将两个模型部署在同一设备和低延迟互联架构上，才能保留投机解码所需的数据局部性。

不过，在需求足够大、稳定且可预测的场景下，拆分方案仍可能胜出，尤其是当传统GPU需要大批次特定阶段负载才能达到良好吞吐量时。但天下没有免费的午餐。

从日式到印式（微辣到重辣）：Katsu、Vindaloo与Chana——机架系统如何搭建？

Jalapeño的机架级系统由CPU主机架和ASIC机架组成。主机架包含16个名为“Katsu”的主机CPU托盘，每个Katsu对应右侧ASIC机架中一个名为“Vindaloo”的ASIC托盘。每台主机配备两颗AMD Turin系列EPYC CPU、1.5TB DRAM、2个E1.S和2个M.2 SSD。每个托盘还配备400G（2×200G）前端网络。每个Katsu托盘通过8根外部PCIe DAC线缆与对应的Vindaloo托盘连接，线缆沿机架前部水平布置。系统级设计由OpenAI与Celestica合作完成。

ASIC机架包含16个Vindaloo托盘和8个扩展交换机托盘（6个用于本地扩展，2个用于全局扩展），交换机托盘名为“Chana”。每个Vindaloo托盘包含8颗Jalapeño ASIC，因此每机架总计128颗Jalapeño ASIC。ASIC通过铜缆背板与Chana交换机托盘连接，类似英伟达Oberon的架构。扩展拓扑分为两个域：机架内的本地域，包含128颗ASIC；以及全局域，最多可连接16个机架、2048颗ASIC。下文将详细介绍带宽和拓扑结构。

主机架的供电容量约为50kW（生产运行时为31kW），ASIC机架为130kW，整套双机架系统总功耗约为160kW，与双宽GB300机架的功耗相当。

OpenAI可在单个扩展网络中连接最多2048颗Jalapeño XPU。扩展网络分为两个域：本地域通过机架内背板连接所有128颗XPU；全局域通过铜缆与光混合互联，连接16个机架的2048颗XPU。每机架包含8个Chana交换机托盘：中间6个用于本地域，每个配备一颗102.4T带宽的Tomahawk 6交换机ASIC；本地交换机上下各一个用于全局域，我们推测每个全局交换机托盘包含两颗102.4T Tomahawk 6交换机，总带宽可达204.8T。

在本地域，128颗Jalapeño芯片中的每颗XPU单向带宽为4.8Tb/s，与6颗102.4Tb/s Tomahawk 6 ASIC实现全互联。这意味着每颗XPU需要48对差分对（DP）公母连接器，整机架用于本地扩展的无源铜缆总计6144对差分对。

在全局域，16个机架的2048颗XPU通过铜缆背板、204.8T TH6电交换机、1.6T光模块和光电路交换机连接。每颗XPU的全局链路单向带宽为1.6Tb/s，对应XPU与全局交换机之间的背板需要16对差分对（DP）公母连接器。每个全局交换机托盘包含两颗ASIC，其输出带宽在背板与前面板光模块之间分配。

本地域与全局域合计，每机架每颗XPU的背板连接器数量为64对差分对，整机架无源铜缆总计8192对差分对。

全局域采用8轨架构。我们认为OpenAI在全局域中通过每个机架内安装的光电路交换机（OCS）路由光链路。每颗XPU的1.6Tb/s全局带宽通过铜缆背板传输至全局交换机托盘，再通过前面板的1.6T光模块输出，连接至无源光交换机后离开机架。这种架构将扩展规模扩大至2048颗XPU，由16个机架的128颗XPU组成。

由于扩展网络成本仅占系统总成本的约10%，这种灵活性为未来支持10-20万亿参数模型或200-400万token上下文窗口提供了宝贵的可选方案。部署方面，OpenAI正与neoclouds合作，截至1月已与数据中心合作伙伴收集可靠性数据，并优化从到货到上架的部署时间。

未来展望

接下来，我们谈谈Jalapeño的未来——它的首个生产token即将诞生。下一个目标是实现100兆瓦的算力规模，主要挑战将来自硬件层面：产能能达到多少？数据中心的部署和运营能否顺利？监控和弹性机制如何应对？等等。软件方面已被证明可行，且对于内部模型而言，软件上的先发优势很容易被追上。在付费内容中，我们将讨论Jalapeño未来几年对英伟达、AMD、Cerebras及其他与OpenAI有合作的芯片厂商的影响。