利用 3D 透视网络进行几何约束的车辆识别
计算机视觉与模式识别
2019-11-19 v3
摘要
我们提出一种从单张 RGB 图像进行车辆识别的新型学习框架。与现有仅使用注意力机制定位二维判别信息的方法不同,我们的工作学习车辆的新型 3D 透视特征表示,随后将其与 2D 外观特征融合以预测类别。该框架由全局网络(GN)、3D 透视网络(3DPN)与融合网络组成。GN 用于定位感兴趣区域(RoI)并生成 2D 全局特征。在 RoI 辅助下,3DPN 在提出的消失点损失引导下估计 3D 边界框,提供透视几何约束。随后通过使用透视变换消除 3D 边界框的视角差异来生成所提出的 3D 表示。最后,3D 与 2D 特征被融合以预测车辆类别。我们在 BoxCars 数据集的车辆分类与验证任务上给出定性与定量结果。结果表明,通过学习如此简洁的 3D 表示,我们能在保留 3D 有意义信息的同时取得优于仅使用 2D 信息方法的性能,且无需 3D CAD 模型的挑战。
引用
@article{arxiv.1903.07916,
title = {Geometry-constrained Car Recognition Using a 3D Perspective Network},
author = {Rui Zeng and Zongyuan Ge and Simon Denman and Sridha Sridharan and Clinton Fookes},
journal= {arXiv preprint arXiv:1903.07916},
year = {2019}
}