SCA-PVNet：基于自注意力与交叉注意力的点云与多视图聚合用于三维物体检索
计算机视觉与模式识别
2023-12-01 v2
摘要
针对三维物体检索，已有大量工作致力于由单一模态（如体素、点云或多视图图像）表示的三维物体生成高判别性描述子。利用三维物体多模态表示中的互补信息以进一步提升检索性能颇具前景。然而，多模态三维物体检索在大规模数据集上的研究与分析尚不多见。本文提出基于自注意力与交叉注意力的点云与多视图图像聚合方法(SCA-PVNet)用于三维物体检索。在提取点云与多视图图像的深度特征后，我们设计了两类特征聚合模块，即模态内聚合模块(IMAM)与跨模态聚合模块(CMAM)，以实现有效特征融合。IMAM 利用自注意力机制聚合多视图特征，而 CMAM 借助交叉注意力机制实现点云特征与多视图特征的交互。用于物体检索的三维物体最终描述子可通过拼接两模块聚合所得特征获得。我们在三个从小规模到大规模的数据集上进行了充分实验与分析，证明了所提 SCA-PVNet 相对于当前最优方法的优越性。
引用
@article{arxiv.2307.10601,
title = {SCA-PVNet: Self-and-Cross Attention Based Aggregation of Point Cloud and Multi-View for 3D Object Retrieval},
author = {Dongyun Lin and Yi Cheng and Aiyuan Guo and Shangbo Mao and Yiqun Li},
journal= {arXiv preprint arXiv:2307.10601},
year = {2023}
}