POAR：面向开放词汇行人属性识别
计算机视觉与模式识别
2023-11-27 v2
摘要
行人属性识别（PAR）旨在预测监控系统中目标行人的属性。现有方法通过训练具有预定义属性类的多标签分类器来解决PAR问题。然而，在真实世界中穷举所有行人属性是不可能的。为应对此问题，我们提出了一种新颖的行人开放属性识别（POAR）框架。我们的核心思想是将POAR问题表述为图像-文本检索问题。我们设计了一个基于Transformer的图像编码器并采用掩码策略。引入一组属性令牌以聚焦于特定行人部位（如头部、上半身、下半身、脚部等）并将相应属性编码为视觉嵌入。每个属性类别被描述为自然语言句子并由文本编码器编码。随后，我们计算属性的视觉与文本嵌入之间的相似度，以为输入图像找到最佳属性描述。不同于为每类属性学习特定分类器的现有方法，我们在部位级别建模行人并探索检索方法以处理未见属性。最后，由于一幅行人图像可包含多个属性，提出了一种带掩码令牌的多对多对比（MTMC）损失来训练网络。我们在具有开放属性设定的基准PAR数据集上进行了充分实验。结果验证了所提POAR方法的有效性，其可构成POAR任务的强基线。我们的代码见\url{https://github.com/IvyYZ/POAR}。
引用
@article{arxiv.2303.14643,
title = {POAR: Towards Open Vocabulary Pedestrian Attribute Recognition},
author = {Yue Zhang and Suchen Wang and Shichao Kan and Zhenyu Weng and Yigang Cen and Yap-peng Tan},
journal= {arXiv preprint arXiv:2303.14643},
year = {2023}
}