RobustMVS：单域通用深度多视图立体
计算机视觉与模式识别
2024-05-16 v1
摘要
尽管多视图立体 (MVS) 方法在拥有大量训练样本方面表现卓越，但当泛化到未见域时性能下降的现象尚未得到明确探索。在本工作中，我们关注 MVS 中的域泛化问题。为评估泛化结果，我们构建了一个新型 MVS 域泛化基准，包括合成数据集和真实世界数据集。与传统域泛化基准不同，我们考虑一种更真实但更具挑战性的场景，即仅提供一个源域进行训练。MVS 问题可类比为特征匹配任务，保持不同视图之间的鲁棒特征一致性是提高泛化性能的关键因素。为了解决 MVS 中的域泛化问题，我们提出了一种新型 MVS 框架，称为 RobustMVS。进一步引入一种 DepthClustering-guided Whitening (DCW) loss 以保持不同视图之间的特征一致性，基于深度图的几何先验将多视图特征从视图特定的风格信息中去相关。实验结果进一步表明，我们的方法在域泛化基准上实现了优异的性能。
引用
@article{arxiv.2405.09131,
title = {RobustMVS: Single Domain Generalized Deep Multi-view Stereo},
author = {Hongbin Xu and Weitao Chen and Baigui Sun and Xuansong Xie and Wenxiong Kang},
journal= {arXiv preprint arXiv:2405.09131},
year = {2024}
}
备注
Accepted to TCSVT. Code will be released at: https://github.com/ToughStoneX/Robust-MVS. Benchmark will be released at: https://github.com/ToughStoneX/MVS_Evaluation_Benchmark