基于未标定立体数据混合集的单阶段三维几何保持深度估计模型训练
计算机视觉与模式识别
2023-06-06 v1
摘要
如今，机器人、AR与3D建模应用使单视图深度估计（SVDE）备受关注，因其可从单张RGB图像估计场景几何。近期工作表明，SVDE方法的精度极大依赖于训练数据的多样性与规模。然而，通过深度采集或3D重建获得的RGB-D数据集通常较小，合成数据集不够逼真，且所有这些数据集缺乏多样性。大规模且多样的数据可来源于网络上的立体图像或立体视频。立体数据通常未标定，仅提供至未知偏移的视差（几何不完整数据），故立体训练的SVDE方法无法恢复3D几何。近期研究表明，以立体训练的SVDE方法所得失真点云可由额外点云模块（PCM）在几何完整数据上分别训练后校正。相反，我们提出GP，即通用且几何保持（General-Purpose and Geometry-Preserving）训练方案，并表明常规SVDE模型可自行学习正确偏移而无需任何后处理，即便在几何保持设定下亦能从立体数据获益。通过对不同数据集混合的实验，我们证明GP训练的模型在精度与速度上均优于依赖PCM的方法，并报告了通用几何保持SVDE的SOTA结果。此外，我们表明即便几何完整数据仅占训练集小部分，SVDE模型亦可学会预测几何正确深度。
引用
@article{arxiv.2306.02878,
title = {Single-Stage 3D Geometry-Preserving Depth Estimation Model Training on Dataset Mixtures with Uncalibrated Stereo Data},
author = {Nikolay Patakin and Mikhail Romanov and Anna Vorontsova and Mikhail Artemyev and Anton Konushin},
journal= {arXiv preprint arXiv:2306.02878},
year = {2023}
}