PVNet:一种用于 3D 形状识别的点云与多视图联合卷积网络
计算机视觉与模式识别
2018-08-24 v1
摘要
3D 物体识别在多媒体与计算机视觉领域引起了广泛研究关注。随着近年来深度学习的兴起,各类具有不同表示形式的深度模型已取得最先进性能。其中,基于点云与多视图的 3D 形状表示近来颇具前景,其相应深度模型在 3D 形状识别上已展现出显著性能。然而,鲜有研究致力于融合点云数据与多视图数据以进行 3D 形状表示,而在我们看来,二者是互益且互补的。本文中,我们提出点-视图网络(PVNet),这是首个融合点云与多视图数据以进行联合 3D 形状识别的框架。更具体地,提出一种嵌入注意力融合方案,可利用多视图数据的高层特征来建模点云数据不同结构特征间的内在关联与可判别性。特别地,判别性描述被量化并用作软注意力掩码,以进一步精炼 3D 形状的结构特征。我们在 ModelNet40 数据集上对所提方法进行了 3D 形状分类与检索任务的评估。实验结果及与最先进方法的对比表明,我们的框架能取得优越性能。
引用
@article{arxiv.1808.07659,
title = {PVNet: A Joint Convolutional Network of Point Cloud and Multi-View for 3D Shape Recognition},
author = {Haoxuan You and Yifan Feng and Rongrong Ji and Yue Gao},
journal= {arXiv preprint arXiv:1808.07659},
year = {2018}
}
备注
ACM Multimedia Conference 2018