用于遮挡行人重识别的特征补全Transformer
计算机视觉与模式识别
2024-03-26 v2
摘要
遮挡行人重识别(Re-ID)由于遮挡物的破坏而成为一个具有挑战性的问题。大多数现有方法借助一些先验信息关注可见的人体部分。然而,当发生互补性遮挡时,遮挡区域中的特征会干扰匹配,严重影响性能。本文不同于大多数丢弃遮挡区域的已有工作,提出一种特征补全Transformer(FCFormer),在特征空间中隐式补全遮挡部分的语义信息。具体而言,提出遮挡实例增强(OIA)以在全景图像上模拟真实且多样的遮挡情形。这些增强图像不仅丰富了训练集中遮挡样本的数量,还与原全景图像构成图像对。随后,提出一种带共享编码器的双流架构,从成对输入中学习成对的判别性特征。无需额外语义信息,即可自动创建遮挡-全景特征样本-标签对。接着,设计特征补全解码器(FCD),利用可学习令牌聚合来自自生成遮挡特征的可能信息,以补全遮挡区域的特征。最后,提出交叉困难三元组(CHT)损失,进一步缩小同一ID下补全特征与提取特征之间的差距。此外,引入特征补全一致性(FC)损失,帮助生成的补全特征分布更接近真实全景特征分布。在五个具有挑战性的数据集上的大量实验表明,所提出的FCFormer实现了优越性能,并在遮挡数据集上以显著优势超越SOTA方法。
引用
@article{arxiv.2303.01656,
title = {Feature Completion Transformer for Occluded Person Re-identification},
author = {Tao Wang and Mengyuan Liu and Hong Liu and Wenhao Li and Miaoju Ban and Tuanyu Guo and Yidi Li},
journal= {arXiv preprint arXiv:2303.01656},
year = {2024}
}
备注
Published on IEEE Transactions on Multimedia (TMM)