在 Hot Chips 2026 会议上，OpenAI 公布了自研推理芯片 Jalapeño 的第一组实测数据：在 SemiAnalysis 的公开基准 InferenceX 上，这颗与 Broadcom 联合开发的 700W ASIC，对 Nvidia GB200 和 GB300 机架系统拿到了 1.5 到 1.9 倍的每千瓦吞吐，以及 1.7 到 3.6 倍更低的端到端延迟。测试覆盖三个开放权重模型：GPT-OSS 120B、DeepSeek R1 670B 和万亿参数的 Kimi K2.5。
这颗芯片今年 6 月 24 日正式发布，从初始设计到流片只用了九个月，OpenAI 称这是高性能先进半导体领域最快的 ASIC 开发周期。工程样片已经在实验室中以量产目标频率和功耗运行真实负载，包括 GPT‑5.3‑Codex‑Spark。OpenAI 计划今年晚些时候在自建数据中心开始部署。
四组核心数字
OpenAI 在 Hot Chips 演讲中给出的性能对比可以归纳为一张表：
| 指标 | 相对 GB200/GB300 | 方向 |
|---|---|---|
| 交互性（Interactivity） | 2.1x – 4.1x | 越高越好 |
| 端到端延迟（E2E latency） | 1.7x – 3.6x | 越低越好 |
| 上一代最优 TBT 点的每瓦性能 | 8.6x – 104.3x | 越高越好 |
| 峰值吞吐点的每瓦性能 | 1.5x – 1.9x | 越高越好 |
最有冲击力也最容易误读的是第三行：8.6 倍到 104.3 倍的每瓦性能差距，出现在"GB300 此前最快的 token 间隔（time-between-tokens）设置"这个特定工作点上。这个数字的语境是：把 Jalapeño 调到 GB300 历史最佳响应速度的同等条件下，Jalapeño 每 kW 能吐出的混合 token 数是 12,258，而 GB300 是 118。Jalapeño 额定 700W、实测持续功耗保持在 550W 以下，对上的是 1,200W 和 1,400W 的对手，一大截差距来自低功耗芯片对高功耗芯片的错位比较。SemiAnalysis 对此有明确说明：更站得住的数字是跨三个模型的 1.5-1.9 倍每瓦性能和 1.7-3.6 倍更低延迟。
还有两个口径细节影响结论。第一，OpenAI 按各家公布的封装 TDP 归一化结果，但附录里用"全含机房供电功率"（Jalapeño 1.18kW 对 GB300 2.55kW）重新算过一遍，差距会收窄。第二，主要对比跑的是单 token 预测对单 token 预测，而 Nvidia 生产环境普遍开多 token 预测（MTP）；附录里给出 GB300 开 MTP 后，Jalapeño 的峰值能效领先缩到约 1.5 倍。Jalapeño 自己也有 MTP，OpenAI 称在等效率条件下还能再降低 3 到 5 倍延迟。
具体到单模型数据：在 DeepSeek R1 上，Jalapeño 达到每用户 700 token/s，GB300 此前最优记录是 169.41；在 GPT-OSS 120B 的等速测试中，Jalapeño 每 kW 多吐出最高 53.7 倍的混合 token；在最大的 Kimi K2.5 上，Jalapeño 拿到约 1.5 倍峰值每瓦性能和 3.4 倍更低延迟。一个 128 芯片机架提供 1.7 EFLOPS 的 MXFP4 算力。
架构：一颗为 LLM 推理从头画的芯片
Jalapeño 的定位是推理专用 ASIC，与通用 GPU 的根本差异在设计自由度。GPU 要兼顾训练和推理、兼顾十年内的各种负载，架构上必须保留大量通用性；Jalapeño 从第一张图纸起就只服务 LLM 推理，砍掉一切与推理无关的电路。
每个 Jalapeño 封装由一颗计算die和 6 个 HBM4 堆栈组成，共 216 GiB 容量、15.4 TB/s 带宽。作为对照，GB300 携带 288GB HBM3E、额定 1,400W。按额定功率折算，Jalapeño 每瓦内存容量比 GB300 多约 50%。
OpenAI 在 Hot Chips 的演讲材料里点明了架构目标：这颗芯片要解决的瓶颈，是把聚合 HBM 带宽充分用起来，继续堆内存容量解决的是另一个问题。这句话背后的工程判断是，LLM 推理（尤其是 decode 阶段）是带宽受限负载，单位算力能摸到多少有效带宽决定实际吞吐，通用 GPU 的算力冗余在这个场景是浪费。架构上的三个动作围绕这一点展开：减少数据搬运、平衡计算/内存/网络资源、让实测利用率逼近理论峰值。
网络层面，Broadcom 的 Tomahawk 系列交换芯片负责把平台拉到大规模生产。系统集成分工是：Broadcom 做芯片实现和网络，Celestica 做板卡、机架和整机。Jalapeño 是双方多代计算平台的第一代，面向 2026 年底开始的首批部署。
设计周期是另一个硬指标。九个月从 RTL 到流片的速度，OpenAI 归因于软硬协同开发加上用自己的模型加速设计流程的部分环节。据 Tom's Hardware 引述 Bloomberg 报道，第一代采用台积电 3nm 级工艺，第二代芯片已接近流片，第三代的概念设计已在进行。TSMC 3nm 意味着 OpenAI 与 Nvidia 在晶圆、内存和先进封装的产能队列里直接竞争。
InferenceX 基准是什么
这份数据的可信度建立在 InferenceX 的独立性上。InferenceX 是 SemiAnalysis 维护的公开推理基准（前名 InferenceMAX），测量从接收请求到吐出 token 的完整服务过程，代码、数据和仪表盘全部开源在 GitHub 上。SemiAnalysis 表示这次测试是与 OpenAI 工程师在 OpenAI 实验室共同运行，并称 Jalapeño 是"我们测过的所有 Nvidia、AMD 和 Google 芯片里最快的那颗"。
基准选择三个开放权重模型有方法论上的考虑：闭源模型无法复现，开放模型任何人都能拉下来在同一框架下重跑。InferenceX 同时测固定序列服务和 AgentX（从真实 Claude Code 会话回放的长上下文、多轮 agent 编码负载），后者对交互式推理场景的参考价值更高，而交互性正是 Jalapeño 声称优势最大的维度。
HBM 视角：真正的约束
Jalapeño 的 216 GiB HBM4 让 OpenAI 成为 HBM4 供应的新的大买家。三星、SK 海力士和美光的 HBM 产能已卖到 2027 年，SK 海力士 CEO Kwak Noh-jung 已警告 2027 年将是供应最紧张的一年。美光在同一个 Hot Chips 会议上表示，同等容量下 HBM 消耗的晶圆面积约是 DDR5 的三倍，且这一代际惩罚还在扩大。Nvidia 据报道正在测试只有 192GB 的删减版 Rubin Ultra 配置，侧面印证了内存紧张程度。
OpenAI 与 Broadcom 去年 10 月签署的 10GW 部署协议若按 Jalapeño 规模铺开，将与 Nvidia 通过多年配额协议锁定 SK 海力士供应的格局正面相遇。与此同时，OpenAI 与被测对象 Nvidia 的财务绑定还在加深：8 月 17 日 Nvidia 同意为 OpenAI 租用的俄亥俄数据中心园区提供最高 1,050 亿美元融资。OpenAI 硬件副总裁 Richard Ho 在发布后接受 Bloomberg 采访时说："Nvidia 是非常好的合作伙伴，我们仍然需要大量 Nvidia。"
没测的东西
这份数据没有回答的问题同样重要。Jalapeño 没有与 Vera Rubin 对比，而后者是 OpenAI 已同意在 2026 年下半年部署的第一个 gigawatt 级 Nvidia 系统的平台。Jalapeño 也不做训练，训练仍是 Nvidia 硬件没有对手的地盘。工程样片的数字与量产片的最终表现之间，通常还存在一段距离。
对开发者的实际影响要等部署节奏。推理成本若按公布的能效优势等比例下降，最先受益的是高交互、长会话的 agent 类负载，InferenceX 的 AgentX 维度正是为这类负载设计。OpenAI 官方发布页给出的时间表是今年晚些时候在自建数据中心开始部署，详细技术报告将在未来数月内发布。