半监督深度多视图立体视觉
计算机视觉与模式识别
2023-10-27 v4 人工智能
摘要
在监督与无监督设定下，基于学习的多视图立体视觉（MVS）已取得了显著进展。为结合二者在精度与完整性上的各自优势，同时减少对昂贵标注数据的需求，本文探索了在半监督设定下基于学习的 MVS 问题，即仅极小部分 MVS 数据附有稠密深度真值。然而，由于场景的巨大差异与视角的灵活设定，可能破坏经典半监督学习中的基本假设——未标注数据与标注数据共享相同的标签空间与数据分布，这在 MVS 问题中被称为半监督分布鸿沟歧义。为处理这些问题，我们提出了一种新颖的半监督分布增强 MVS 框架，即 SDA-MVS。对于基本假设在 MVS 数据中成立的简单情形，一致性正则化鼓励模型对原始样本与随机增强样本的预测保持一致。对于基本假设在 MVS 数据中冲突的更棘手情形，我们提出了一种新颖的风格一致性损失，以缓解由分布鸿沟引起的负面效应。未标注样本的视觉风格被迁移至标注样本以缩小鸿沟，且生成样本的模型预测进一步由原始标注样本中的标签监督。多个 MVS 数据集的半监督设定实验结果展示了所提方法的优越性能。在骨干网络相同设定下，我们提出的 SDA-MVS 优于其全监督与无监督基线。
引用
@article{arxiv.2207.11699,
title = {Semi-supervised Deep Multi-view Stereo},
author = {Hongbin Xu and Weitao Chen and Yang Liu and Zhipeng Zhou and Haihong Xiao and Baigui Sun and Xuansong Xie and Wenxiong Kang},
journal= {arXiv preprint arXiv:2207.11699},
year = {2023}
}
备注
This paper is accepted in ACMMM-2023. The code is released at: https://github.com/ToughStoneX/Semi-MVS