IRS:一个用于训练视差与表面法线估计深度模型的大型自然化室内机器人立体数据集
计算机视觉与模式识别
2021-03-29 v2 机器人学
摘要
室内机器人的定位、导航与交互高度依赖于场景理解与重建。与通常不明确引入任何几何约束的单目视觉相比,基于立体视觉的方案在生成准确几何信息(如表面法线和深度/视差)方面更具前景且更鲁棒。此外,使用大规模数据集训练的深度学习模型已在许多立体视觉任务中展现出优越性能。然而,现有立体数据集很少包含高质量的地面真实表面法线与视差,难以满足室内场景前瞻性深度模型的训练需求。为此,我们引入了一个大规模合成但自然化的室内机器人立体(IRS)数据集,包含超过100K立体RGB图像以及高质量的地面真实表面法线与视差图。借助我们定制渲染引擎的先进渲染技术,该数据集与真实世界拍摄图像相当接近,并涵盖了多种视觉效应,如亮度变化、光反射/透射、镜头光晕、生动阴影等。我们将IRS的数据分布与现有立体数据集进行比较,以阐明室内场景的典型视觉属性。此外,我们提出了DTN-Net,一种用于表面法线估计的两阶段深度模型。大量实验表明了IRS在训练视差估计深度模型中的优势与有效性,且相较于现有方法,DTN-Net在法线估计上提供了最先进(state-of-the-art)的结果。
引用
@article{arxiv.1912.09678,
title = {IRS: A Large Naturalistic Indoor Robotics Stereo Dataset to Train Deep Models for Disparity and Surface Normal Estimation},
author = {Qiang Wang and Shizhen Zheng and Qingsong Yan and Fei Deng and Kaiyong Zhao and Xiaowen Chu},
journal= {arXiv preprint arXiv:1912.09678},
year = {2021}
}