相机位姿至关重要：通过缓解位姿分布偏差改进深度预测
计算机视觉与模式识别
2021-03-30 v2
摘要
单目深度预测器通常在大规模训练集上训练，而这些训练集就相机位姿分布而言存在天然偏差。因此，训练得到的预测器在对以不常见相机位姿捕获的测试样本进行预测时，无法给出可靠的深度预测。为解决此问题，我们提出两种在训练与预测阶段利用相机位姿的新技术。首先，我们引入一种简单的透视感知数据增强，以几何一致的方式扰动现有样本，合成具有更多样视角的新训练样本。其次，我们提出一种条件模型，将每幅图像的相机位姿作为先验知识，通过将其编码为输入的一部分加以利用。我们表明，联合应用这两种方法可改善在不常见乃至前所未见的相机位姿下所摄图像上的深度预测。我们表明，我们的方法在应用于一系列不同预测器架构时均能提升性能。最后，我们表明，显式编码相机位姿分布可提升在合成数据上训练的深度预测器在真实图像上的泛化性能。
引用
@article{arxiv.2007.03887,
title = {Camera Pose Matters: Improving Depth Prediction by Mitigating Pose Distribution Bias},
author = {Yunhan Zhao and Shu Kong and Charless Fowlkes},
journal= {arXiv preprint arXiv:2007.03887},
year = {2021}
}
备注
Accepted at CVPR2021, Oral