寒序科技uHBM与uLPU技术解读：24TB/s片内带宽背后的MRAM推理架构
国内首家MRAM磁计算公司寒序科技（ICY Technology，成立于2023年8月）正式公布uHBM与uLPU推理计算架构，并首次完整披露从Compute-Memory Die、芯片、模组到2U Tray及Rack的产品路线。首代uHBM架构的片内读带宽设计值达到24 TB/s，uLPU面向4B多模态模型提出超过2000 Tokens/s的Decode目标。
这家公司并非只有纸面架构：其SpinPU-ED01验证芯片已完成第三方检测、推理任务运行及24小时稳定运行验证。这次的发布是在既有MRAM芯片验证基础上，把大模型Decode阶段的"权重搬运"问题放到了产品级架构设计的中心。
Decode阶段的权重搬运问题
单次权重读取并不显眼，问题在于它会在每个Token生成过程中反复发生。大模型Decode阶段每生成一个Token，计算系统都需要再次读取规模庞大的模型权重。对于FFN、GEMV这类典型的Memory-Bound负载，权重持续从存储器搬向计算单元，往往成为限制响应速度与能效的关键因素。
以主流的GPU+HBM方案为例，HBM负责存放权重和KV Cache，计算发生在GPU die上。虽然HBM外部接口带宽已经很高，但权重在每个计算周期都要穿越封装接口到达计算单元，这条通道的带宽和能耗构成了Decode阶段的基本约束。
Weight-Resident Compute：把权重留在存储里
寒序给出的思路是Weight-Resident Compute：将模型权重持久驻留于Persistent MRAM阵列，并在同一颗Compute-Memory Die内完成矩阵-向量运算。系统主要在外部传递规模小得多的激活向量，减少高维权重在存储器与GPU、NPU之间的重复搬运。
这个方案利用了MRAM的介质特性。MRAM是非易失存储，数据以磁状态持久保存，掉电不丢失，权重写入后可以长期驻留并直接参与片内计算。对推理场景来说，模型权重在服务期内基本只读，这与Persistent MRAM的特性正好匹配。
需要说明的是，这套架构牺牲了通用性：权重固定的模型驻留在片中，适合的是推理负载中占比最大的矩阵-向量运算，官方材料也标注了"概念示意，实际性能因模型、精度、上下文长度及系统配置而异"。
两个核心数字：24 TB/s与2000 Tokens/s
首代uHBM架构的In-Die Read Bandwidth设计值为24 TB/s。与HBM3E主要依靠外部接口搬运权重不同，uHBM把高维权重直接留在片内并在本地完成计算，对于Decode这类高度依赖权重读取的任务，这相当于把推理的"数据通道"做宽。
在此基础上，uLPU面向4B多模态主干模型提出超过2000 Tokens/s的Decode目标。这个数字对应的场景是机器人、交互式AI等对响应速度敏感的负载：更高的Tokens/s意味着模型更快理解环境、更快生成决策。uLPU-edge模组的分工是Attention和KV Cache放在NPU上，FFN放进uHBM，两者配合完成整个Decode流程。
从Die到Rack：完整产品路线
uHBM是一颗基于Persistent MRAM的Weight-Resident Compute Die，提供多种接口变体与GPU、NPU协同：
| 接口变体 | 接口 | 规格 | 定位 |
|---|---|---|---|
| uHBM-US | UCIe-S（Standard） | x16 · 32 GT/s · 64 GB/s | 板级 Scale-Out |
| uHBM-UA | UCIe-A（Advanced） | x16 · 32 GT/s · 64 GB/s | 封装级 Scale-Up |
| uHBM-LP | LPDDR5X | 64-bit · 10.7 GT/s · 85.3 GB/s | 低功耗 Client Attach |
| uHBM-G | GDDR7 | 32-bit · 32 GT/s · 128 GB/s | 板级 Scale-Out |
封装形态上，uHBM既可以走2D板级互连（分立封装+平面互连），也可以通过2.5D混合键合与GPU/NPU die共封装（Fine-Pitch Chiplet + 短距UCIe-A互连，置于Silicon Interposer/Bridge之上）。
产品体系分三条线：
- uHBM-z：混合键合3D堆叠（4颗uHBM die垂直堆叠），容量最高8GB，面向端侧；
- uLPU-edge：2.5D边缘模组（4×uHBM + 1×NPU），目标大于2000 Tokens/s，面向机器人；
- uLPU-cloud：2.5D云端模组（4×uHBM + 1×uIO Die），UCIe Scale-Up + 112G/224G SerDes Scale-Out，面向数据中心高并发Decode。
模组再向上组装为uLPU Module、2U Tray直至Rack级推理系统：
命名中的"u"代表Ultra，官方的表述是以更高片内带宽推动低延迟推理。
验证基础：SpinPU-ED01
产品路线背后有验证芯片作支撑。公开资料显示，寒序SpinPU-ED01验证芯片集成120个MRAM Bank，样片实测片上访存带宽密度达到0.105 TB/(mm²·s)，公司另行完成了推理任务运行及24小时稳定运行验证。知识产权方面，寒序围绕MRAM权重驻留计算及相关芯片架构已有两项专利申请公开。
观察与保留
从验证芯片到24 TB/s的产品级架构，中间隔着工程化的全部难度。24 TB/s是设计值，2000 Tokens/s是目标值，官方材料对此的措辞也相当克制；可以确认的实测数据是SpinPU-ED01的0.105 TB/(mm²·s)带宽密度和24小时稳定运行记录。
这个方向值得跟踪的原因在于介质与架构的匹配度：推理权重只读、驻留期长，与MRAM的非易失特性天然契合；Decode阶段的Memory-Bound问题又确实是当前推理系统的普遍瓶颈。如果Weight-Resident Compute在量产中兑现设计指标，uHBM与uLPU面对的会是一轮以"更快产生Token"为核心的基础设施需求；兑现不了，它也只是众多存算路线中的一次尝试。判断依据就看后续模组和整机产品的实测数据。
（命名上uLPU与Groq的LPU缩写相同，两者均为推理专用处理器思路，但技术路线不同：Groq采用SRAM静态随机存储，寒序采用Persistent MRAM持久磁存储。）
信息来源：科创板日报、寒序科技官方材料