从老鼠视皮层还原10秒视频：大脑视觉编码研究的里程碑

8000个神经元，10秒动态视频

你看到的每一样东西——屏幕上的文字、窗外的树、朋友的脸——都在你的视觉皮层中留下了一串神经信号。这些信号是怎么编码的，一直是神经科学的核心问题。

最近，伦敦大学学院（UCL）Sainsbury Wellcome Centre 的研究团队在 eLife 上发表了一项新成果：他们首次从老鼠的视觉皮层神经元活动中，重建出了老鼠观看的10秒自然影像，帧率达到30Hz，像素级相关系数达到0.57。

这件事为什么值得注意

在此之前，从大脑活动中重建视觉信息的研究主要集中在两个方向：一是用 fMRI 测量人类脑血流变化，间接推测被试看到了什么；二是在小鼠上记录神经元对静态图像的反应，尝试重建单张图片。

fMRI 路线已经有不少令人印象深刻的工作，比如 2022 年 Takagi 和 Nishimoto 用 Stable Diffusion 从人类 fMRI 信号中重建高分辨率图像，以及 2023 年 NeurIPS 上的 Mind-Video 从连续 fMRI 数据中重建动态视频。但这些方法本质上是间接测量——fMRI 反映的是血液含氧量的变化，而非神经元本身的电信号。

UCL 团队走的是另一条路：直接记录单个神经元的活动。他们使用了双光子钙成像技术（two-photon calcium imaging），在10只小鼠的主视觉皮层（V1）中同时监测大约8000个神经元的活动。这些小鼠在清醒状态下观看自然场景视频，研究人员同时记录瞳孔大小、眼球位置和奔跑速度等行为数据。

方法本身很巧妙：把编码模型当解码器用

整个方法的核心思路分三步：

第一步：训练编码模型。 研究团队使用了一个动态神经元编码模型（Dynamic Neural Encoding Model, DNEM），这个模型是 Sensorium 2023 竞赛的冠军模型（Baikulov, 2023），能根据视频内容和动物的行为数据预测每个神经元的反应。

第二步：反向优化视频。 拿到一个空白灰色视频，通过反向传播不断调整每一帧的像素，让模型预测的神经元活动尽可能匹配实际记录到的神经元活动。本质上就是在问：什么样的视频，会让这个编码模型产生和真实记录一模一样的神经元反应？

第三步：模型集成。 单个模型的重建视频在时空维度上都带有高频噪声，但把多个独立训练模型的重建结果取平均后，性能显著提升。仅用2个模型平均就带来13.7%的性能提升，7个模型平均累计提升28%。

数字背后的含义

像素级相关系数0.57是什么概念？此前用同样的钙成像技术在V1区域重建静态图像的最佳成绩只有0.24。这次实现了约2倍的提升，同时还捕捉到了视频的时间动态。

不过需要注意，0.57的相关系数意味着重建视频保留了原始视频的整体结构和运动方向，但细节仍然模糊。这更像是一个"能看懂大致在发生什么"的级别，远不是像素级还原。

两条路线，各自的边界

单神经元路线的优势在于精度——直接读取神经元的"第一手"信号。但它对实验条件要求极高：双光子钙成像需要在动物头骨上开一个窗口，注射基因改造的钙指示剂（GCaMP6s），动物固定在显微镜下观看视频。这离"给人戴个头盔就能读心"的距离是指数级的。

fMRI 路线虽然非侵入，但信号是间接的、粗糙的。它重建的更多是"语义级别"的信息——你能看出重建图是一只狗、一座桥，但像素细节往往是由 Stable Diffusion 模型"脑补"出来的。

研究团队怎么说

第一作者 Joel Bauer 博士在 UCL 新闻稿中提到，重建视频的精度随着使用神经元数量的增加而提升，说明全面的神经数据采集至关重要。团队目前的计划是改善重建的分辨率和视觉场景的覆盖范围。

eLife 的评审评估认为，这项研究的价值在于实用层面——它展示了如何通过组合先进的编码模型和视频优化方法来显著提升重建质量，为脑解码社区提供了一个有力工具。

离"读心"还有多远

从这项研究到"读懂人在想什么"，中间隔着几道根本性的鸿沟：从单细胞到全脑网络、从小鼠到人类、从被动观看场景到主动想象和回忆、从实验条件下的受限刺激到自由日常体验。每一步都可能是数量级的难度跨越。

但作为理解大脑视觉编码的工具，这项研究确实迈出了实质性的第一步——它证明了，如果你能用足够多的神经元记录来训练一个好的编码模型，那么通过反向优化，你确实可以从神经信号中重建出视频的大致轮廓和运动动态。

论文：Movie reconstruction from mouse visual cortex activity (eLife)