DiverseDepth：利用多样数据实现仿射不变深度预测
计算机视觉与模式识别
2020-03-31 v3
摘要
我们提出一种利用单目图像进行深度估计的方法，该方法能在多样场景上预测出高质量深度（至多相差一个仿射变换），从而保留场景的准确形状。先前预测度量深度的方法通常仅对特定场景效果良好。相反，学习相对深度（更近或更远的信息）可享有更好的泛化性，代价是无法恢复场景准确的几何形状。本工作中，我们提出一个数据集与方法以解决此困境，旨在预测至多相差仿射变换的准确深度，并对多样场景具备良好泛化能力。首先我们构建了一个大规模且多样的数据集，称为多样场景深度数据集（DiverseDepth），其具有广泛的场景与前景内容。相较于先前学习目标（即学习度量深度或相对深度），我们提出利用我们的多样数据集学习仿射不变深度，以确保泛化性与场景高质量几何形状。此外，为在复杂数据集上有效训练模型，我们提出一种多课程学习方法。实验表明，在零样本测试设定下，我们的方法在8个数据集上大幅优于先前方法，展示了所学模型对多样场景的优异泛化能力。利用预测深度重建的点云表明我们的方法能恢复高质量3D形状。代码与数据集可在 https://tinyurl.com/DiverseDepth 获取。
引用
@article{arxiv.2002.00569,
title = {DiverseDepth: Affine-invariant Depth Prediction Using Diverse Data},
author = {Wei Yin and Xinlong Wang and Chunhua Shen and Yifan Liu and Zhi Tian and Songcen Xu and Changming Sun and Dou Renyin},
journal= {arXiv preprint arXiv:2002.00569},
year = {2020}
}
备注
Fixed typos