Muskie：面向 3D 视觉的多视图掩码图像建模
计算机视觉与模式识别
2025-11-25 v1
摘要
我们提出 Muskie，一个原生多视图视觉主干网络，用于 3D 视觉任务。不同于现有帧级模型在多视图一致性方面有限，Muskie 被设计为同时处理多个视图，并在预训练阶段引入多视图一致性。Muskie 被训练通过在一个视图中重建被严格掩码的内容，同时寻找并利用其他视图中的几何对应关系。通过这一预文本任务和我们提出的激进掩码策略，模型在没有任何 3D 监督的情况下，隐式学习到不变特征并发展出强大的几何理解能力。与 DINO 等领先的帧级主干相比，Muskie 在多视图对应精度方面取得更好成绩。进一步地，我们展示了将 Muskie 作为主干网络可一致性地提升下游 3D 任务的性能，包括相机姿态估计和点云重建。代码已公开于 https://leo-frank.github.io/Muskie/。
引用
@article{arxiv.2511.18115,
title = {Muskie: Multi-view Masked Image Modeling for 3D Vision Pre-training},
author = {Wenyu Li and Sidun Liu and Peng Qiao and Yong Dou and Tongrui Hu},
journal= {arXiv preprint arXiv:2511.18115},
year = {2025}
}