Google Research 推出 TurboQuant，测试中将大模型 KV 缓存压到 3 比特

Google Research 公布了 TurboQuant，并同时介绍 QJL 与 PolarQuant。三套方法都围绕同一个问题：高维向量太占内存，长上下文大模型里的 KV 缓存和向量搜索系统都会被带宽与容量拖住。

TurboQuant 给出的结果很激进：在无需训练或微调的情况下，它能把 KV 缓存量化到 3 比特。在 long-context 的 needle-in-a-haystack 测试里，相关内存占用至少压缩 6 倍，同时下游结果保持不变。

从方法上看，TurboQuant 不是单独的一招。Google Research 同时公开的 QJL 和 PolarQuant，分别承担了误差控制和高质量压缩的角色。按照官方介绍，TurboQuant 先对向量做随机旋转，再用 PolarQuant 处理主体压缩，最后再拿 1 bit 的 QJL 去修正剩余误差，目标是在极低比特下把 attention score 算准。

这条更新的落点也很明确：它直接对准了 KV cache 这个越来越现实的系统瓶颈。模型上下文越长、并发越高，显存和内存压力就越明显。能把 KV 缓存压到更低比特，同时又不明显伤精度，等于是在给长上下文和推理吞吐腾空间。

Google 给出的速度数据也很亮眼。实验显示，4 比特 TurboQuant 在 H100 GPU 上计算 attention logits 的速度，相比 32 比特未量化 keys 最高可提升 8 倍。对线上推理来说，这类提升直接关系到同样硬件能撑多长上下文、跑多高并发、把成本压到什么水平。

向量搜索场景也是同样逻辑。Google 表示，TurboQuant 在高维向量搜索任务中的 recall 优于 PQ 和 RabbiQ，说明这套方法的应用面并不限于大模型推理，还能往 embedding 检索、语义搜索和推荐系统里延伸。

从公开信息看，TurboQuant 将在 ICLR 2026 展示，QJL 与 PolarQuant 将在 AISTATS 2026 展示。对 Google Research 来说，这批工作是在把“量化”继续往系统级效率推进：重点已经落到 KV 缓存、向量索引和 attention 计算这些更接近实际成本的位置。

来源：

• Google Research
  • https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/
• TurboQuant 论文
  • https://arxiv.org/abs/2504.19874