面向换衣行人重识别的语义感知注意力与视觉屏蔽网络
计算机视觉与模式识别
2023-11-20 v2
摘要
换衣行人重识别(ReID)是一个新兴的研究课题，旨在检索更换了衣物的行人。由于不同衣物下人体外观差异巨大，现有方法很难提取判别性与鲁棒的特征表示。当前工作主要关注体型或轮廓草图，但人体语义信息以及换衣前后行人特征的潜在一致性未被充分探索或被忽略。为解决这些问题，本文提出一种用于换衣行人ReID的语义感知注意力与视觉屏蔽网络(简称SAVS)，其关键思想是屏蔽与衣物外观相关的线索，仅关注对视角/姿态变化不敏感的视觉语义信息。具体而言，首先采用视觉语义编码器基于人体语义分割信息定位人体与衣物区域。然后，提出人体语义注意力模块(HSA)以突出人体语义信息并重加权视觉特征图。此外，还设计了视觉衣物屏蔽模块(VCS)，通过遮盖衣物区域并使模型聚焦于与衣物无关的视觉语义信息，为换衣任务提取更鲁棒的特征表示。最重要的是，这两个模块在端到端统一框架中联合优化。大量实验表明所提方法显著优于最先进(state-of-the-art)方法，且能为换衣行人提取更鲁棒特征。与FSAM(发表于CVPR 2021)相比，该方法在LTCC与PRCC数据集上就mAP(rank-1)分别取得32.7%(16.5%)与14.9%(-)的提升。
引用
@article{arxiv.2207.08387,
title = {A Semantic-aware Attention and Visual Shielding Network for Cloth-changing Person Re-identification},
author = {Zan Gao and Hongwei Wei and Weili Guan and Jie Nie and Meng Wang and Shenyong Chen},
journal= {arXiv preprint arXiv:2207.08387},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2108.04527