重访Marr：通过表面法线预测实现2D-3D对齐
计算机视觉与模式识别
2016-04-06 v1
摘要
我们提出一种方法，利用表面法线预测以及外观线索，从大型CAD物体库中检索2D静态图像所描绘物体的3D模型。我们方法成功的关键在于能够恢复所描绘场景中物体的准确表面法线。我们引入了基于预训练的Oxford VGG卷积神经网络（CNN）构建的skip-network模型用于表面法线预测。我们的模型在NYUv2 RGB-D数据集上取得了表面法线预测的当前最佳精度，并且与先前方法相比能恢复精细的物体细节。此外，我们开发了在输入图像与预测表面法线上运行的two-stream network，联合学习用于CAD模型检索的姿态与风格。当使用预测的表面法线时，我们的two-stream network在姿态预测任务上与使用从RGB-D图像计算出的表面法线的先前工作相当，并在使用RGB-D输入时达到当前最佳。最后，与基线方法相比，我们的two-stream network使我们能够检索出更好匹配所描绘物体的风格与姿态的CAD模型。
引用
@article{arxiv.1604.01347,
title = {Marr Revisited: 2D-3D Alignment via Surface Normal Prediction},
author = {Aayush Bansal and Bryan Russell and Abhinav Gupta},
journal= {arXiv preprint arXiv:1604.01347},
year = {2016}
}