标签: MoE
清除筛选
腾讯混元 Hy3 preview 开源：295B MoE 模型重建后的首份答卷
腾讯混元正式发布并开源 Hy3 preview，这是混元团队今年 2 月重建预训练和强化学习基础设施后训练的第一个模型，也是迄今最智能的混元模型。 Hy3 preview Logo 模型规格 | 项目 | 参数 | |------|------| | 架构 | 混合专家模型（MoE），快慢思考融合 | | 总参数 | 295B | | 激活参数 | 21B…
DeepSeek发布DeepGEMM重大更新：MegaMoE融合算子与FP4精度支持
DeepSeek 发布 DeepGEMM 重大更新：Mega MoE 融合算子与 FP4 精度支持 DeepSeek发布DeepGEMM重大更新：MegaMoE融合算子与FP4精度支持 4 月 16 日，DeepSeek 开源了其高性能 CUDA 算子库 DeepGEMM 的重大更新（PR #304），新增 Mega MoE 融合算子、FP8×FP4 GEM…
Cursor 的 warp decode：翻转 MoE 推理并行轴，Blackwell 小批量吞吐提升 1.84 倍
Cursor 最近公布了一项名为 warp decode 的 MoE 推理优化方案。在 Blackwell GPU 的小批量自回归解码场景中，他们将计算组织方式从"围绕专家"改为"围绕输出"，在 B200 上实现了 1.84 倍的吞吐提升。 同时，去掉中间激活量化后，输出与 FP32 参考值的接近程度提升了 1.4 倍。性能和精度同时改善，在 kernel…