MUT3R：基于动态运动感知的更新型Transformer用于动态3D重建
计算机视觉与模式识别
2025-12-04 v1 机器人学
摘要
近期的基于状态的循环神经网络在静态3D重建方面取得了显著进展，但在运动引起的伪影方面仍显脆弱，其中非刚性区域会破坏空间记忆与图像特征之间的注意力传播。通过分析状态和图像标记更新机制的内部行为，我们发现跨层聚合自注意力图会揭示一致模式：动态区域天然被低加权，暴露了预训练transformer已编码但从未显式使用的隐式运动线索。鼓舞此观察，我们引入MUT3R，一个无需训练的框架，应用从注意力中派生的运动线索，在推理期间抑制早期transformer层中的动态内容。我们的注意力级别门控模块在其损伤传播通过特征层次结构之前抑制了动态区域的影响。值得注意的是，我们不重新训练或微调模型；我们让预训练的transformer自行诊断其运动线索并自行纠正。这种早期调控稳定了流式场景中的几何推理，并在多个动态基准测试中实现了时间一致性和相机姿态鲁棒性的提升，为实现运动感知流式重建提供了一个简单且无需训练的途径。
关键词
引用
@article{arxiv.2512.03939,
title = {MUT3R: Motion-aware Updating Transformer for Dynamic 3D Reconstruction},
author = {Guole Shen and Tianchen Deng and Xingrui Qin and Nailin Wang and Jianyu Wang and Yanbo Wang and Yongtao Chen and Hesheng Wang and Jingchuan Wang},
journal= {arXiv preprint arXiv:2512.03939},
year = {2025}
}