PARFormer：基于 Transformer 的行人属性识别多任务网络
计算机视觉与模式识别
2023-04-17 v1
摘要
行人属性识别(PAR)因其在视频监控和行人分析中的广泛应用而受到越来越多的关注。提取鲁棒的特征表示是该任务的关键挑战之一。现有方法主要使用卷积神经网络(CNN)作为骨干网络来提取特征。然而，这些方法主要关注小的判别区域而忽略了全局视角。为克服这些局限，我们提出了一种名为 PARFormer 的纯基于 transformer 的多任务 PAR 网络，其包含四个模块。在特征提取模块中，我们构建了基于 transformer 的强基线用于特征提取，与现有基于 CNN 的基线方法相比，在多个 PAR 基准上取得了有竞争力的结果。在特征处理模块中，我们提出了一种名为批量随机掩码(BRM)块的有效数据增强策略，以加强对随机图像块的特征学习。此外，我们提出了多属性中心损失(MACL)以增强特征表示中的属性间可判别性。在视角感知模块中，我们探究了视角对行人属性的影响，并提出了多视角对比损失(MCVL)，使网络能够利用视角信息。在属性识别模块中，我们缓解了正负样本不平衡问题以生成属性预测。上述模块相互作用并联合学习高度判别性的特征空间，并监督最终特征的生成。大量实验结果表明，所提出的 PARFormer 网络在包括 PETA、RAP 和 PA100K 在内的多个公开数据集上相比 SOTA 方法表现良好。代码将发布于 https://github.com/xwf199/PARFormer。
引用
@article{arxiv.2304.07230,
title = {PARFormer: Transformer-based Multi-Task Network for Pedestrian Attribute Recognition},
author = {Xinwen Fan and Yukang Zhang and Yang Lu and Hanzi Wang},
journal= {arXiv preprint arXiv:2304.07230},
year = {2023}
}