基于有效共分割与数据增强的自监督多视图立体
计算机视觉与模式识别
2021-04-13 v1 人工智能
摘要
近期研究表明，基于视图合成的自监督方法在多视图立体（MVS）上取得了明显进展。然而，现有方法依赖于不同视图间对应点具有相同颜色的假设，这在实际中未必总成立。这可能导致不可靠的自监督信号并损害最终重建性能。为解决该问题，我们提出了一个集成由语义共分割与数据增强引导的更可靠监督的框架。具体地，我们从多视图图像中挖掘互语义以引导语义一致性。并且我们设计了有效的数据增强机制，其通过将常规样本的预测作为伪真值来正则化增强样本的预测，从而确保变换鲁棒性。在 DTU 数据集上的实验结果表明，我们提出的方法在无监督方法中达到了最先进性能，甚至可与有监督方法相媲美。此外，在 Tanks&Temples 数据集上的大量实验证明了所提方法的有效泛化能力。
引用
@article{arxiv.2104.05374,
title = {Self-supervised Multi-view Stereo via Effective Co-Segmentation and Data-Augmentation},
author = {Hongbin Xu and Zhipeng Zhou and Yu Qiao and Wenxiong Kang and Qiuxia Wu},
journal= {arXiv preprint arXiv:2104.05374},
year = {2021}
}
备注
This paper is accepted by AAAI-21 with a Distinguished Paper Award