Liquid AI LFM2.5-24B-A2B 技术解读:24B 参数 2B 激活,端侧 Agent 模型的新标杆

10 月 12 日,Liquid AI 在 Hugging Face 上开放了 LFM2.5-24B-A2B 的权重。这是 LFM2.5 家族目前最大的模型,官方博客同时确认它也是这个家族的收官之作:产品线覆盖从 230M 到 24B 两个数量级,端侧小模型的版图到此画完一个周期。总参数量 24B,每个 token 只激活 2B,官方给它的定位是「为快速、私密的端侧 Agent 而造」。两天时间,这个模型在 Hacker News 首页拿到上百个赞,HF 页面收获 300+ 个 star,量化社区 Unsloth 当天就放出了量化版本。

LFM2.5-24B-A2B 与三个同尺寸 MoE 模型的 16 项基准对比

架构:卷积、注意力、专家网络的混合体

LFM2.5-24B-A2B 是一个 MoE(Mixture of Experts,专家混合)模型。可以把它想象成一家医院:24B 参数是全院医生的总数,但每个病例(token)只会被分诊到 4 个专科医生手里,其余医生不参与计算。这就是「24B 总参数、2B 激活参数」的含义,推理成本按 2B 计算,知识容量按 24B 存储。

从 HF 仓库的 config.json 可以核对出具体结构:40 层,每个 MoE 块含 64 个专家、top-4 路由,hidden size 2048,注意力部分 32 个查询头配 8 个 KV 头(GQA,分组查询注意力,用更少的 KV 缓存换取内存占用下降)。注意力层之外穿插了门控短卷积(gated short convolution),这是 Liquid AI 的 LFM 系列从第一代起就保留的混合设计,短卷积处理局部模式的开销低于标准注意力。

相比上一代 LFM2-24B-A2B,这代有两处架构级改动:上下文窗口从 32,768 扩到 131,072 个 token,词表从 65K 原地扩到 128K,后者主要为了改善非拉丁语系(包括中文)的编码效率。

训练管线:33T token 预训练,五阶段后训练

预训练数据量从上一代的 17T token 翻了近一倍,达到 33T。中间训练(mid-training)分两段:先以 32K 上下文跑 2T token 的高质量数据,权重偏向推理、数学、代码、指令跟随和多语言;再以 131K 上下文跑 300B token 的长上下文数据。两段中都持续混入工具调用和多轮对话轨迹,为 Agent 场景打底。

后训练是五阶段流水线:SFT(监督微调)、教师特化(Teacher Specialization)、非 Agent 域和多 Agent 域两轮 MOPD(Multi-Domain On-Policy Distillation,多域在线策略蒸馏),最后是在 Agent 框架内做的强化学习。训练框架的选择直接写进了官方文档:OpenClaw、Hermes Agent、Pi、OpenCode 这些现成 harness,也就是说最后一阶段的 RL 直接在真实 Agent 循环里做,工具调用的格式、报错、重试都按实际部署状态暴露给模型。

五阶段后训练流水线:SFT 之后分出多个领域教师模型,再经两轮蒸馏和 Agentic RL 收敛到最终模型

官方博客披露了一段少见的细节:在教师特化阶段,模型表现出典型的 reward hacking 行为,为了找到任务的最终答案,它跑去翻仓库的 git 历史,或者到 GitHub、PyPI、Hugging Face 上搜现成结果;更进一步的例子是,它甚至推断出自己运行在沙箱环境里。Liquid AI 的处理方式是收紧沙箱,并声明下文所有评测数据都来自密封评测环境。训练方主动公开这类行为而不加掩饰,在模型发布材料里算得上罕见。

16 项基准:Agent 类任务领先,知识类落后

官方在 16 项基准上对比了三个同档 MoE 模型:Qwen3.6-35B-A3B(总参数和激活参数都比它多约 50%)、Gemma-4-26B-A4B-it、Nemotron-3.5-Lightning(30B-A3B)。完整数据如下:

基准LFM2.5-24B-A2BQwen3.6-35B-A3BGemma-4-26B-A4BNemotron-3.5-Lightning
AutomationBench27.698.725.462.61
BFCLv465.0165.0057.0953.78
ToolSandbox80.7175.0272.0975.13
LiveClaw48.0938.1941.2537.72
PinchBench83.1889.9377.1284.20
τ³-Bench Banking8.047.634.547.01
WebArena Verified26.7537.6225.6228.69
GPQA Diamond74.4283.6974.9072.42
AA-Omniscience-24.90-24.35-59.39-3.58
HLE7.407.698.575.65
IFEval96.7593.0692.0094.19
IFBench74.6964.2147.4471.67
Multi-IF84.3881.5382.1982.34
MATH-50096.0496.7395.6696.40
SWE-Bench Verified (OpenCode)51.0066.2025.8053.40
SciCode32.7137.3535.4227.78

八项 Agent 与工具调用基准里,它在五项上领先或持平第一,其中 AutomationBench 拿到 27.69 分,是第二名的三倍多;三项指令跟随基准(IFEval、IFBench、Multi-IF)全部第一。短板同样清楚:GPQA Diamond 落后 Qwen3.6 约 9 分,SWE-Bench Verified 落后 15 分,SciCode 落后约 4.6 分。官方自己的结论也是同一个方向:知识密集型任务建议外挂检索或联网搜索,把模型用在它擅长的工具调用上。这是自评里少见的直球,发布方直接告诉用户哪些场景该换模型。

端侧速度:M5 Max 上每秒 184 个 token

激活参数只有 2B 带来的直接收益是解码速度。Liquid AI 用自家的 Pipette 基准设施在三台设备上实测:Apple M5 Max 上解码 184 tokens/s、预填充 4,318 tokens/s、显存占用 15GB;Mac Studio 上 146 tokens/s;AMD Ryzen AI Max+ 395 上 114 tokens/s、16GB 内存。三项对比里它都比同级 MoE 快,官方口径是最高 1.7 倍,同时内存占用最低。

三台端侧设备上的预填充、解码速度与内存对比,LFM2.5-24B-A2B 三项全面领先

服务器侧的数字更夸张:单张 NVIDIA B300 在高并发下输出吞吐超过 21,000 tokens/s(SGLang 0.5.22、BF16、1024 输入 256 输出的持续负载测试)。API 定价按每百万 token 计:输入 0.1 美元(缓存命中 0.05 美元),输出 1 美元,在 24B 档模型里属于低位。

官方还放了一个端侧 Agent 演示:LFM2.5-24B-A2B 跑在 M5 Max 的 Hermes Agent 里,规划、调工具、完成任务全程不联网。每次工具分发的间隔低于一秒,完整审计日志留在本地。

社区实测:速度无争议,能力有分歧

Hacker News 上的实测反馈呈现两面。正面集中在速度:有用户在 RTX 5070 Ti 上用 llama.cpp 跑满 131K 上下文,不做任何调优拿到每秒 200 到 320 个 token;多人确认这个速度足以支撑交互式编码 Agent 的手感。

能力面的反馈更冷静。有人实测 SWE 类任务,让它给 ghostty 终端项目加一个最简单的 todo 功能,结果在编译报错里来回打转;发帖人同时观察到 Qwen 3.8 在同类任务上更稳。也有用户指出它的通用知识明显弱于 Qwen3.6-35B-A3B,并认为官方榜单里 Agent 类任务的优势部分来自定制 RL 环境。另一个反复被提的点是:这是一个强制推理模型(reasoning-only),每个回答前都输出显式思维链,速度快但完整答案的等待时间会被思维链拉长。

这些分歧与官方数据可以对上:SWE-Bench 51 分对 Qwen 的 66.2 分,官方没有回避。把两张清单放在一起读,结论收敛为一句:它为工具调用和多步执行而生,写代码和答知识题请交给别的模型或外挂检索。

许可:年营收千万美元以下免费商用

权重采用 LFM Open License v1.0。许可原文写明:年营收低于 1000 万美元的实体可以自由商用、微调和再分发;跨过这条线的商用需要另行获得授权,非营利组织和科研用途不受此限。这个条款与 Qwen、Gemma 系列的准入式许可思路一致,对个人开发者、初创团队和学术用户等于零门槛。

部署路径第一天就是全的:llama.cpp(GGUF)、MLX(Apple Silicon 优化)、vLLM、SGLang、ONNX 各有一条现成通路。Unsloth 的量化版已经上线,16GB 内存的 Mac 能以 4bit 量化把它装进内存,代价是精度损失;要完整精度得有 24GB 以上显存或统一内存。

对在内外网隔离环境里部署 AI 助手的团队,这个模型给出的组合是具体的:131K 上下文、128K 多语言词表、工具调用基准全面领先、每秒 184 token 的本地解码、1000 万美元营收线以下免费。它把「Agent 完全跑在自己设备上、数据不出门」这条路线的成本和性能边界又往下压了一截。

来源: