Inkling-2-Mini压到3.9GB:LookAtMyQuant量化编译器拆解

开源AI

2026 年 11 月 20 日,Thinking Machines 发布 Inkling 2 Mini:26.4B 参数的循环 MoE 模型,官方口径总内存占用约 30GB,定位是笔记本可跑的开放权重模型。两天后,Hacker News 首页出现了另一个数字:3.85 GB。一个叫 LookAtMyQuant 的单人开源项目把这个模型的文本权重从 18.89 GB 压缩成六个体积档,最小一档装得进 8 GB 内存的 iPhone。这条帖子拿到 460 分、117 条评论,评论区吵的问题很集中:一个原生就用 4bit 精度训练和部署的模型,为什么还能再压掉 80% 的体积。

Inkling 2 Mini 发布页基准图

一个本来就在 4bit 里训练的模型,为什么还能再压

先把质疑讲清楚。Inkling 2 Mini 的权重从预训练到 RL 阶段全程跑在 NVFP4 精度上(专家层,NVIDIA GB300 平台有专门加速内核),最后四层用 MXFP8,发布的是一个约 20 GB 的混合精度单检查点。HN 评论区因此出现质疑:QAT(量化感知训练)出来的模型本身对量化误差已经有耐受性,对着它再做一次训练后量化,收益从哪来?

答案藏在设备谱系里。约 30GB 的占用意味着 32GB 内存的 Mac 才勉强够跑,16GB 机型直接出局,iPhone 连讨论资格都没有。LookAtMyQuant 做的事情超出现有检查点上省几个 GB 的空间:它把运行门槛从 32GB 一路铺到 8GB,先把权重还原成 BF16 参照,再重新编码到 1.18 到 3.92 bits per weight 的区间,配合全 MoE 的近端正则微调,让超低比特下的输出质量撑得住。

这个模型的结构也让压缩的性价比变高。Inkling 2 Mini 是循环 transformer:24 个存储层中,中间的 Blocks 2 与 3 每个 token 要跑三遍,全模型每个 token 完成 48 次层应用,上一轮循环的输出通过一个可学习的门控合并进下一轮。Thinking Machines 的对照实验显示,非循环版本训练算力省 7.5%,但要匹配循环版在 512k-token 智能体轨迹上的损失,推理算力要多花 140%。对本地部署来说,权重每读一次都算内存带宽:3× 循环意味着同一份权重的读取次数是普通模型的数倍,权重体积每压小一档,解码速度跟着受益。

Inkling 2 Mini 的循环结构

编译器的工作方式:测量、分配、构建

LookAtMyQuant 自称量化编译器,工作流分三步。第一步测量:把模型拆成一个个存储单元,每次只压缩一个、其余保持精确,记录每个单元被压缩后对输出分布造成的 KL 散度伤害。仓库里 SmolLM2-360M 的完整测量是 2,312 次,在一张 L40S 上跑约 50 分钟。第二步分配:在给定体积预算内,为每个单元挑一个编码方案,使总伤害最小,这一步不需要 GPU。第三步构建:按计划逐矩阵量化,输出可运行的模型文件并报告困惑度和 KL。

编码方案本身是这个项目的核心。它用 trellis 码(格码)沿权重矩阵的行编码:ht2/ht3 是散列块向量格码,按 4 KB SRAM 的容量设计,解码时由自定义 Metal 内核执行;rtr1/rtr4 是行级格码,保证解码一个条目只读一行。比特预算按行分配,依据是 Fisher 信息——对输出更敏感的行拿到更多比特。在 Gemma 4 E2B 上,同体积的 trellis 方案 KL 比 llama.cpp 生态常用的 Q4_K_M 低 12 倍。

对 Inkling 2 Mini 这种 26.4B 物理 / 5.4B 有效激活的 looped MoE,编译器还留了一条后门:对最敏感的专家桶直接做原生 NVFP4 直通,一点误差不加。12.76 GB 档有 109/192 个专家桶、11.18 GB 档有 69/192 个专家桶保持 0.0 误差直通,注意力投影和 lm_head 尾桶另设精度下限。

六档体积,从无损等价到 iPhone

六个 MLX 构建档位的完整读数如下(评测口径:greedy 解码、max_new_tokens 1536、reasoning_effort 关闭,GSM8K 取 test 前 200 题,HumanEval 取全部 164 题严格执行;视觉塔 637MB BF16 原样保留,六档视觉测试全对):

构建文本体积bppGSM8KHumanEval 严格三任务均值定位
BF16 教师18.89 GB5.80193/200 (96.5%)152/164 (92.7%)100.0%参照
12.76 GB12.763.92193/200 (96.5%)152/164 (92.7%)100.0%无损等价
11.18 GB11.183.43190/200 (95.0%)151/164 (92.1%)99.3%近无损
8.87 GB8.872.72192/200 (96.0%)149/164 (90.9%)99.2%甜点位
5.38 GB5.381.65174/200 (87.0%)117/164 (71.3%)89.0%16GB Mac
4.72 GB4.721.45165/200 (82.5%)110/164 (67.1%)86.0%12GB iPhone
3.85 GB3.851.18157/200 (78.5%)79/164 (48.2%)77.8%8GB iPhone

12.76 GB 档在全部 349 个池化测试点上与 BF16 教师完全一致,内存少 32.5%。8.87 GB 档保留 99.2% 均值,与 Unsloth 同尺寸的 9.14 GB UD-Q2_K_XL GGUF 相比,英语/聊天/代码混合上的 KL 低 2.34 倍(0.0208 对 0.0486),13 种语言整体 KL 低 29.6%。5.38 GB 档把 GSM8K 保到 87.0%,HumanEval 严格执行仍有 71.3%,top-1 输出一致率 90.0%。

2bpp 以下:微调把静态量化的崩溃救回来

下表下半区的数字背后有一道技术分水岭。直接对 Inkling 2 Mini 做 1.18 bpp 的静态训练后量化,GSM8K 掉到 1.0%、HumanEval 掉到 1.8%,模型基本报废。撑住 3.85 GB 档 78.5% GSM8K 的是 SQYFR v2:一种全 MoE 近端正则微调,把 24.46B 专家参数和 130-144 个注意力格码投影一起训练,训练数据是 BF16 教师自己的推理轨迹回放,控制边界 token 加权 6.0 倍,训练中实时维护满秩 Hessian 投影,最后跟 250 步连续缩放与转向抛光。静态量化报废的区域,微调后每个档位都爬回了可用区间。

iPhone 档的体积选择也精确到系统约束。12GB iPhone 的 Jetsam 杀后台阈值在 5.99 GiB,4.72 GB 档把活跃内存压到 4.35 GiB、解码峰值 5.35 GiB,旁边还塞得下 179 MB 的推测解码草稿模型;8GB 设备用的 3.85 GB 档活跃内存 3.54 GiB、峰值 4.57 GiB。

跑起来的速度

权重体积直接换解码带宽。M5 Max 上的实测读数:

构建预填 tok/s串行解码带草稿模型中位数
12.76 GB2,01660.5112.7
11.18 GB2,03262.4103.7
8.87 GB-63.5106.0
5.38 GB1,80775.3124.4(数学 142.9)
3.85 GB-75.5103.1

体积最小的档位串行解码反而最快(75.3 与 75.5 对 60.5),内存带宽限制下小权重的读取优势盖过了精度开销。推测解码用 178.9 MB 的 4bit DSpark 草稿模型,一次提出后续七个 token、主模型单次校验,采样过程保持精确无偏,文本与串行 greedy 逐字一致。

生态边界需要说清楚:六档发布件全部走 MLX 运行时和自定义统一 Metal 内核(M5 的 MetalPerformancePrimitives 预填、FlashAttention-2 SDPA),今天在 llama.cpp 里跑不了。仓库里留了 gguf_compiler.py,能在 llama.cpp 自身的张量类型上生成计划并直接运行,但 Inkling 系列的 trellis 码与草稿模型还没有 llama.cpp 内核。

复现成本

这套东西的可复现性写在仓库里。Qwen3.5-4B 压到 1.23 GB 的完整配方(校准、行重要性测量、构建、4,000 步蒸馏微调、评测)在 Modal 上一 GPU 一任务跑完,总花费约 34 美元;草稿模型用 SpecForge 训练花 42 美元。Gemma 4 E2B 的测量在 H100 上单任务 7 到 26 分钟。Inkling-2-Mini 六档的构建走同一条管线。代码 MIT 协议,Apple Silicon 上 pip install git+https://github.com/ShinMegamiBoson/lookatmyquant.git 装出 lamq 命令,lamq generate shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-5.4GB 一行就能跑;Python 侧 runtime_mlx.load 返回兼容 mlx_lm 生成接口的模型与分词器。

这个项目由一个贡献者维护,og 卡片渲染时的星标数是 341。六档构建全部放在 Hugging Face 的 shinmegamiboson 名下。

来源: