20B 参数的大语言模型跑在手机上是什么体验？DeepGrove 用三值权重把推理速度推到 127 tok/s
一个 200 亿参数的推理模型，跑在 iPhone 上每秒生成 127 个 token，在 Mac mini M4 上达到 218 tok/s。DeepGrove 最新发布的 Maple-Preview——一个原生三值权重（ternary-weight）训练的 20B-A1B MoE 模型，完整权重只有 5.31 GB。 Maple-Preview 速度-质…
一个 200 亿参数的推理模型，跑在 iPhone 上每秒生成 127 个 token，在 Mac mini M4 上达到 218 tok/s。DeepGrove 最新发布的 Maple-Preview——一个原生三值权重（ternary-weight）训练的 20B-A1B MoE 模型，完整权重只有 5.31 GB。 Maple-Preview 速度-质…