基于部件引导注意力学习的车辆实例检索
计算机视觉与模式识别
2020-09-29 v4
摘要
车辆实例检索常要求识别车辆间细粒度的视觉差异。除易受视角变化和畸变影响的车辆整体外观外，车辆部件也为区分近乎相同的车辆提供了关键线索。受这些观察启发，我们提出一种部件引导注意力网络（PGAN），以定位显著的部件区域并有效结合全局与部件信息来进行判别性特征学习。PGAN首先检测不同部件组件与显著区域的位置（与车辆身份无关），作为自底向上注意力以缩小可能的搜索区域。为估计检测部件的重要性，我们提出部件注意力模块（PAM），自适应定位具有较高注意力权重的最具判别性区域，并抑制具有较低权重的无关部件干扰。PAM由实例检索损失引导，从而提供自顶向下注意力，使注意力可在车辆部件及其他显著区域层面计算。最后，我们聚合全局外观与部件特征以进一步提升特征性能。PGAN在端到端框架中结合了部件引导的自底向上与自顶向下注意力、全局与部件视觉特征。大量实验表明，所提方法在四个大规模基准数据集上取得了新的最优车辆实例检索性能。
引用
@article{arxiv.1909.06023,
title = {Part-Guided Attention Learning for Vehicle Instance Retrieval},
author = {Xinyu Zhang and Rufeng Zhang and Jiewei Cao and Dong Gong and Mingyu You and Chunhua Shen},
journal= {arXiv preprint arXiv:1909.06023},
year = {2020}
}
备注
12 pages