迈向鲁棒单目深度估计:混合数据集以实现零样本跨数据集迁移
计算机视觉与模式识别
2020-08-26 v3
摘要
单目深度估计的成功依赖于大规模且多样化的训练集。由于在不同环境中大规模获取密集真实深度存在挑战,涌现出若干具有不同特性与偏差的数据集。我们开发了能够在训练期间混合多个数据集的工具,即便它们的标注互不兼容。具体而言,我们提出了一种对深度范围与尺度变化保持不变的鲁棒训练目标,倡导使用有原则的多目标学习来组合不同来源的数据,并强调了在辅助任务上预训练编码器的重要性。借助这些工具,我们使用五个多样化的训练数据集进行实验,包括一个新的海量数据源:3D 电影。为展示我们方法的泛化能力,我们采用零样本跨数据集迁移,即在训练时未见过的数据集上进行评估。实验证实,混合互补来源的数据极大改善了单目深度估计。我们的方法在不同数据集上明显优于竞争方法,为单目深度估计树立了新的 SOTA。部分结果见补充视频 https://youtu.be/D46FzVyL9I8
引用
@article{arxiv.1907.01341,
title = {Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-shot Cross-dataset Transfer},
author = {René Ranftl and Katrin Lasinger and David Hafner and Konrad Schindler and Vladlen Koltun},
journal= {arXiv preprint arXiv:1907.01341},
year = {2020}
}
备注
To appear in TPAMI (accepted August 2020)