LingBot-Map：用前馈 3D 基础模型做流式重建，20 FPS 跑完一万帧

把一段手持相机的视频丢进去，模型在 20 FPS 下边读帧边吐出相机位姿和稠密点云，序列超过一万帧也不崩——这是 Robbyant 团队开源的 LingBot-Map 交出的成绩单。它在 GitHub Trending 上日增 star 超 800，论文《Geometric Context Transformer for Streaming 3D Reconstruction》（arXiv:2604.14141）在 Oxford Spires、ETH3D、7-Scenes、Tanks and Temples 四个 benchmark 上把一众流式方法和离线方法甩在身后。

要解决的问题：流式 3D 重建的「三难」

3D 重建的输入是一段视频流，输出是每一帧的相机位姿和场景点云。对在线/实时系统（机器人、AR、自动驾驶、空间记忆）来说，这件事有三个互相打架的要求：

1. 几何精度：每帧位姿和深度要准，否则点云糊掉；
2. 时序一致性：同一块墙面在前后帧里必须对齐，不能因为误差累积让建筑「长出两道墙」；
3. 计算效率：必须在帧率内完成，内存不能随帧数线性增长。

传统 SLAM（DROID-SLAM、ORB-SLAM 等）靠手工关键帧选取 + bundle adjustment 迭代优化，精度高但慢，且启发式策略难以泛化。近两年的 3D 基础模型（DUSt3R、VGGT、DUSt3R 后继 MASt3R、Depth Anything 3 等）走另一条路：把所有图一次性喂进去，前馈 Transformer 直接回归点图和位姿，端到端、可大规模训练。问题是它们都是 offline 设计——bidirectional attention 要求看到全部帧，KV cache 随帧数线性膨胀，跑到几千帧就 OOM。

LingBot-Map 的切入点是：把 SLAM 里「维护显式上下文」的工程哲学搬进前馈模型，用一个几何上下文注意力（Geometric Context Attention，GCA）替代全局 attention，让流式状态既紧凑又信息充分。

核心架构：三类上下文塞进同一个 attention

论文的核心设计 insight 来自经典 SLAM：鲁棒的实时重建需要同时维护不同类型的空间上下文——一个用于坐标系的参考锚点，一个保留近期局部几何，一个压缩全局轨迹。LingBot-Map 把这三种上下文统一到一个 attention 框架里：

这种「显式分层」与一般流式 Transformer 最大的区别在于：不是所有历史帧都平等。早期的关键观测被压成轨迹 token，近期帧保持稠密，全局锚点常驻——既避免 KV cache 爆炸，又不丢长程信息。

工程上，作者用 paged KV cache（借鉴 vLLM 的分页缓存）替代连续布局，让每帧只追加新 token、不重写整个缓存序列；推理后端跑在 FlashInfer 上，原生支持分页 KV 和稀疏注意力。在 518×378 分辨率、1000 帧、64 帧滑窗的设定下，这套实现稳定跑到 ~20 FPS，单序列长视频 demo 跑到了 25,000 帧（约 13 分钟室内行走）。

Benchmark：流式方法整体被甩开一个数量级

作者在 Oxford Spires（大规模室内外混合轨迹）、ETH3D、7-Scenes、NRGBD、Tanks and Temples 上和三类基线对比：offline 前馈（VGGT、DA3、Fast3R、FastVGGT、Pi3）、优化类（DROID-SLAM、MegaSAM、VIPE）、流式同类（StreamVGGT、SLAM3R、InfiniteVGGT、Spann3R、Stream3R、CUT3R、TTT3R、Wint3R）。

Oxford Spires 位姿估计（320 帧稀疏采样） 是含金量最高的对比：

LingBot-Map 以流式身份超过了最强的离线方法和优化方法——AUC@15 比 DA3 高出近 12 个点，比流式最强对手 CUT3R 高出 10 倍；轨迹误差 ATE 6.42 米，比 CUT3R 降低 2.8 倍。

Oxford Spires 难在哪：序列横跨室内外场景突变（露天庭院→黑暗楼梯），轨迹还会隔很久回到先前位置，对局部精度和长程一致性同时施压。作者指出，离线方法（VGGT、DA3）虽然训练数据多，但训练集里相邻视点接近、视野重叠小，遇到 Oxford Spires 这种大视点跃迁学到的先验直接失效。流式对手们则普遍栽在「记忆遗忘」——序列推进到后期就忘了早期观测过的几何，累积漂移把同一栋楼投影到两个位置。

3D 重建质量（F1 分数，越高越好）：

ETH3D 上 +21.70 的 F1 提升是断崖式的，同时精度（Acc 0.09 vs 0.28）和完整度（Comp 0.03 vs 0.21）双双领先——重建不仅更准、覆盖也更完整。

训练与开源：渐进式课程 + 三套权重

训练采用 两阶段渐进式课程：

• Stage 1：多视角短序列数据（无序图片集合），建立通用几何先验；
• Stage 2：连续视频序列，初始化自 Stage 1 权重，把全局 attention 替换成 GCA，做流式适配。

因为 GCA 的 query/key/value 投影参数和全局 attention 共享，预训练权重直接迁移、收敛很快。总训练成本约 3,840 GPU 小时，用 FSDP + gradient checkpointing + bfloat16 混合精度。损失函数采用相对位姿损失（relative pose loss）以保证长序列训练稳定——论文消融实验里专门验证了这一项对长序列收敛的关键作用。

仓库（github.com/Robbyant/lingbot-map，Apache-2.0）发了三套 checkpoint：

• lingbot-map-long：长序列 / 大场景优化；
• lingbot-map：均衡版（论文与 benchmark 用的就是这个）；
• lingbot-map-stage1：Stage 1 权重，可加载进原版 VGGT 做 bidirectional 推理。

实测代码上手门槛低：pip install -e . 之后 python demo.py --model_path xxx.pt --image_folder example/courthouse --mask_sky 就能在浏览器打开 viser viewer 看实时重建。对超长视频（>3000 帧，超过 RoPE 训练范围），用 demo_render/batch_demo.py --mode windowed --window_size 128 --keyframe_interval 10 --overlap_keyframes 8 的滑窗推理，相邻窗口共享 8 个 keyframe 上下文以保持跨窗口位姿对齐。

这件事的位置：把「流式」做进基础模型

LingBot-Map 的真正贡献在于把过去只在 SLAM 工程里出现的显式上下文管理（锚点、局部窗口、全局地图）前移到了端到端可训练的 foundation model 里。这条路线如果跑通，影响的不只是离线重建——它直接对着机器人、AR/VR、自动驾驶、具身智能的空间记忆模块：

• 这些场景天然是因果流式的（不能看到未来帧）；
• 它们需要长时间稳定（机器人跑一小时不能漂移）；
• 它们受算力和内存预算硬约束（边缘设备跑不了 offline 的全局 attention）。

把 3D 基础模型从「一次性离线消化」改造为「边走边建图」，是具身智能栈里缺的那一块。LingBot-Map 给出了一个能跑、能复现、开源权重、benchmark 全面领先的样本。

代码与权重：github.com/Robbyant/lingbot-map（Apache-2.0） 模型：huggingface.co/robbyant/lingbot-map 论文：arXiv:2604.14141（Lin-Zhuo Chen, Jian Gao, Yihang Chen, Ka Leong Cheng, Yipengjing Sun, Liangxiao Hu, Nan Xue, Xing Zhu, Yujun Shen, Yao Yao, Yinghao Xu）