从单张图像重建车辆：用于道路场景理解的形状先验
计算机视觉与模式识别
2016-09-30 v1 机器人学
摘要
我们提出了一种在自动驾驶背景下从单张（RGB）图像重建车辆的方法。尽管该问题看似不适定，但我们证明，关于车辆三维形状如何投影到图像的先验知识可用于推理逆过程，即形状如何从二维（反）投影到三维。我们将此知识编码为形状先验，这些先验是在一个带有少量关键点标注的数据集上学习得到的。然后，我们构建了一个形状感知调整问题，利用学习到的形状先验从图像中恢复查询对象的三维姿态和形状。对于形状表示和推理，我们利用卷积神经网络（CNN）在物体和关键点定位任务上的近期成功，训练了一种新颖的级联全卷积架构来定位图像中的车辆关键点。形状感知调整随后在稳健恢复形状（检测到的关键点的三维位置）的同时，填补被遮挡的关键点。为解决因关键点错误检测而产生的估计误差，我们采用迭代重加权最小二乘法（IRLS）进行稳健优化，并作为副产品，为每个预测关键点建立了噪声模型。我们在自动驾驶基准上评估了我们的方法，并展示了优于现有单目和双目方法的卓越结果。
引用
@article{arxiv.1609.09468,
title = {Reconstructing Vechicles from a Single Image: Shape Priors for Road Scene Understanding},
author = {J. Krishna Murthy and G. V. Sai Krishna and Falak Chhaya and K. Madhava Krishna},
journal= {arXiv preprint arXiv:1609.09468},
year = {2016}
}