FOCUS: 面向行人属性识别的语义引导细粒度优化
计算机视觉与模式识别
2025-07-01 v1
摘要
行人属性识别(PAR)是智能交通与安防领域的一项基础感知任务。为了处理这一细粒度任务，现有大多数方法专注于提取区域特征以丰富属性信息。然而，在这些方法中，区域特征通常用于预测一组固定的预定义属性，这在两个方面限制了性能和实用性：1) 区域特征可能会为了捕捉属性间共享的共性特征而损害某些属性特有的细粒度模式。2) 区域特征无法泛化到预测测试时未见过的属性。在本文中，我们提出了用于PAR的细粒度优化与语义引导理解(FOCUS)方法，该方法为每个属性自适应地提取细粒度的属性级特征，无论该属性在训练期间是否出现过。具体来说，我们提出了多粒度混合令牌(MGMT)来捕获不同视觉粒度下的潜在特征，从而丰富提取信息的多样性。接下来，我们引入了属性引导的视觉特征提取(AVFE)模块，该模块利用文本属性作为查询，通过交叉注意力机制从混合令牌中检索其对应的视觉属性特征。为了确保文本属性关注正确的混合令牌，我们进一步引入了一种区域感知对比学习(RACL)方法，鼓励同一区域内的属性共享一致的注意力图。在PA100K、PETA和RAPv1数据集上的大量实验证明了我们方法的有效性和强大的泛化能力。
引用
@article{arxiv.2506.22836,
title = {FOCUS: Fine-grained Optimization with Semantic Guided Understanding for Pedestrian Attributes Recognition},
author = {Hongyan An and Kuan Zhu and Xin He and Haiyun Guo and Chaoyang Zhao and Ming Tang and Jinqiao Wang},
journal= {arXiv preprint arXiv:2506.22836},
year = {2025}
}
备注
ICME 2025 Oral