用于单目深度估计的虚拟增强 NYU Depth V2 数据集：我们是否需要人工增广？
计算机视觉与模式识别
2024-06-21 v1 机器学习
摘要
我们提出了 ANYU，一个全新的虚拟增强版 NYU depth v2 数据集，专为单目深度估计而设计。与利用虚拟世界的完整 3D 场景来生成人工数据集的知名方法不同，ANYU 是通过将虚拟现实对象的 RGB-D 表示融入原始 NYU depth v2 图像而创建的。我们特意没有将每个生成的虚拟对象与合适的纹理和真实图像中的恰当位置进行匹配。相反，纹理、位置、光照及其他渲染参数的分配是随机化的，以最大化训练数据的多样性，并表明正是这种随机性能够提升数据集的泛化能力。通过使用我们虚拟修改的数据集进行大量实验，并在原始 NYU depth v2 和 iBims-1 基准上进行验证，我们表明 ANYU 提升了具有显著不同架构的深度神经网络的性能和泛化能力，尤其是对于当前最先进的 VPD 模型。据我们所知，这是首个通过随机生成的虚拟 3D 对象来增广真实世界数据集以用于单目深度估计的工作。我们将 ANYU 数据集以两种训练配置公开发布，分别包含 10% 和 100% 额外的人工增广 RGB-D 训练图像对，以便在 https://github.com/ABrain-One/ANYU 进行高效训练和对虚拟增广的实证探索。
引用
@article{arxiv.2404.09469,
title = {Virtually Enriched NYU Depth V2 Dataset for Monocular Depth Estimation: Do We Need Artificial Augmentation?},
author = {Dmitry Ignatov and Andrey Ignatov and Radu Timofte},
journal= {arXiv preprint arXiv:2404.09469},
year = {2024}
}