从单张街景图像进行部件级汽车解析与重建
计算机视觉与模式识别
2019-08-27 v2
摘要
部件信息已被证明对遮挡和视角变化具有鲁棒性，这有利于各种视觉相关任务。然而，我们发现利用部件信息从街景进行汽车姿态估计与重建的工作十分有限。本文有两点主要贡献。首先，我们首次尝试构建一个框架，从单张街景图像同时估计汽车在三维空间中的形状、平移、朝向和语义部件。由于在真实街景上标注语义部件十分费力，我们提出一种特定方法，将部件特征从合成图像隐式迁移到真实街景。对于姿态与形状估计，我们提出一种利用部件特征和三维损失的新颖网络结构。其次，我们首次构建了一个高质量数据集，包含348种具有物理尺寸和基于全局与局部形变的部件级标注的汽车模型。基于这些模型，我们进一步生成了60K张在朝向、光照、遮挡和纹理上随机化的合成图像。我们的结果表明，在应用隐式迁移方法后，部件分割性能显著提升。我们的姿态与形状估计网络在ApolloCar3D数据集上达到了最先进性能，并在平均A3DP-Abs指标上分别以12.57和8.91个百分点优于3D-RCNN和DeepMANTA。
引用
@article{arxiv.1811.10837,
title = {Part-level Car Parsing and Reconstruction from Single Street View},
author = {Qichuan Geng and Hong Zhang and Xinyu Huang and Sen Wang and Feixiang Lu and Xinjing Cheng and Zhong Zhou and Ruigang Yang},
journal= {arXiv preprint arXiv:1811.10837},
year = {2019}
}
备注
Version 2: 1. A major revision; 2. Experiments based on ApolloScape dataset are added