LingBot-Video技术解读：全球首个MoE具身视频基模

7月9日，蚂蚁灵波开源了LingBot-Video，全球第一个基于MoE（混合专家）架构、面向具身智能的视频生成基础模型。在北京大学联合字节跳动发布的RBench评测基准上，LingBot-Video总分0.620排名第一，超过了Wan 2.6（0.607）、Seedance 1.5 Pro（0.584）、Cosmos 3 Super（0.581）和Veo 3（0.563）。

模型权重和代码已以Apache 2.0许可证在GitHub开源，同步发布在HuggingFace和ModelScope，技术论文上线arXiv（arXiv:2607.07675）。

RBench评测：不只是"好看"

RBench是面向机器人操作视频的综合评测基准，核心考察模型能否生成符合真实物理规律的机器人行为。评测维度包括灵巧操作（Manipulation）、空间理解（Spatial）、多实体交互（Multi-entity）、长时序任务（Long-horizon）和推理能力（Reasoning），场景覆盖单臂、双臂、四足和人形机器人。

以下是RBench排行榜的完整分项数据：

几个值得关注的分项数据：LingBot-Video在长时序任务（0.634）和推理能力（0.505）上领先明显，四足机器人场景得分0.758为全场最高。Wan 2.6虽然在闭源模型中总分第二，但在长时序任务上只有0.514，明显弱于LingBot-Video。

内部评测：物理仿真是所有模型的短板

蚂蚁灵波在内部benchmark中进一步对比了T2V（文生视频）和TI2V（图生视频）两个任务维度，从通用质量和具身领域两个角度评估。对比对象包括Cosmos 3、Wan 2.2 A14B、LongCat-Video、HunyuanVideo 1.5和LTX-2.3五个开源模型。

T2V领域得分

TI2V领域得分

一个明显的规律：物理仿真（Physical Simulation）是所有模型的最短板。T2V任务中最高分仅65.6（HunyuanVideo 1.5），TI2V任务中最高只有37.5（LingBot-Video）。相比之下，视觉一致性（Visual Consistency）得分普遍在93以上。说明当前视频生成模型在画面连贯性上已经做得很好，但在精确模拟物理过程方面仍有很大差距。

LingBot-Video在机器人（Robotics）维度的优势比较稳定：T2V得分79.0（第二名Cosmos 3为78.2），TI2V得分77.5（Cosmos 3为80.0，LingBot略低）。在第一视角（Egocentric）维度，TI2V任务中LingBot-Video以95.0分领先。

架构设计：DiT + MoE，30B参数只激活3B

LingBot-Video采用DiT（Diffusion Transformer）加MoE的设计。核心思路是用MoE替代传统Dense架构，在扩大模型容量的同时控制单次推理成本。

具体参数：总参数量30B，每次生成时仅激活约3B参数。推理效率约为同等规模Dense架构的3倍。

对具身智能来说，推理效率直接决定可用性。机器人控制需要实时交互和闭环反馈，如果推理延迟太高就没法做实时控制。MoE的"大容量、低推理成本"特性恰好适配这个需求。

开源版本包含四个模型组件：

Rewriter的作用是把用户的自然语言prompt扩展为结构化JSON描述。推理时先经过两阶段改写（Base扩展 + LoRA格式化），再做Auto Negative裁剪负向提示词，最后送入DiT生成。

数据：7万小时具身数据画像引擎

LingBot-Video构建了数据画像引擎，在海量互联网视频的基础上引入三类机器人相关数据：

• VLA（Vision-Language-Action）：视觉-语言-动作数据，记录机器人的感知、理解和执行过程
• VLN（Vision-Language-Navigation）：视觉-语言导航数据，训练空间理解和路径规划
• Ego（Egocentric）：第一视角数据，模拟人类或机器人的主观视角

总规模达7万小时，覆盖灵巧操作、机器人移动和第一视角交互等场景。这些数据的训练目标是让模型学习动作与环境变化之间的因果关系，而不仅限于视觉纹理和风格的拟合。

训练：物理合理性和任务完成度作为奖励信号

训练阶段引入多维强化学习奖励系统。常规视频模型优化三个维度：美学（Aesthetics）、提示词跟随（Prompt Following）和运动一致性（Motion Consistency）。LingBot-Video在此基础上增加两个关键维度：

物理合理性（Physical Rationality）：生成内容是否符合真实世界的物理规律。例如物体碰撞后的运动轨迹是否符合力学定律，流体行为是否自然。

任务完成度（Task Completion）：机器人在视频中是否真正完成了预定任务。要求操作步骤完整、结果合理，而不只是画面上"看起来在操作"。

这两个奖励信号把模型从"看起来像"推向"做得到"，是LingBot-Video区别于通用视频生成模型的核心训练策略。

快速上手

bash
git clone https://github.com/Robbyant/lingbot-video
cd lingbot-video

python -m venv .venv
source .venv/bin/activate
python -m pip install -U pip
pip install -r requirements.txt
pip install -e .

推理流程分三步：提示词改写 → Auto Negative → DiT生成。以下是T2V任务的基本命令：

bash
# 1. 提示词改写
python rewriter/inference.py --backend transformers --mode t2v \
  --prompt "<你的提示词>" --duration 5 --output prompt.json

# 2. Auto Negative
python rewriter/auto_negative.py --backend transformers --mode t2v \
  --caption prompt.json --output negative.json

# 3. DiT推理
python scripts/inference.py \
  --backend diffusers \
  --model_dir "$MODEL_DIR" \
  --run_refiner \
  --mode t2v \
  --prompt_json prompt.json \
  --negative_prompt_json negative.json \
  --height 480 --width 832 --fps 24 \
  --steps 40 --refiner_steps 8 \
  --guidance_scale 3 --refiner_guidance_scale 3 \
  --shift 3 --refiner_shift 3

仓库还提供了单卡和多卡（FSDP + CP8）的现成脚本，支持diffusers和SGLang Diffusion两种后端。MoE版本默认使用grouped expert execution（LINGBOT_MOE_EXPERT_BACKEND=grouped_mm）。

应用方向与总结

LingBot-Video可用于以下方向：

• 机器人动作预测：根据当前状态和指令，预测机器人的下一步动作序列
• 仿真数据生成：为机器人训练生成多样化的仿真场景
• 动作条件建模：给定动作条件生成对应的视频内容
• 世界模型研究：作为物理世界模拟器的基础模型

从数据角度看，LingBot-Video代表了一个新的视频生成方向：传统视频模型服务于影视内容创作，LingBot-Video面向物理世界的理解、预测与交互。MoE架构让30B参数的模型在推理时只消耗3B的计算量，这对需要实时性的具身智能场景有实际意义。7万小时具身数据的训练加上物理合理性奖励信号，让它在RBench这样的机器人视频评测中超过了多个闭源模型。

不过从内部评测数据也能看到局限：物理仿真维度得分整体偏低（TI2V最高37.5），说明精确模拟物理过程仍然是所有视频模型的未解难题。

资源链接：

• GitHub：robbyant/lingbot-video
• 论文：arXiv:2607.07675
• 许可证：Apache 2.0