基于遮挡的人员重识别中的提示引导特征解缔
计算机视觉与模式识别
2024-10-01 v1 多媒体
摘要
为解决人员重识别 (ReID) 任务中的遮挡问题，已提出许多方法通过引入外部空间信息来提取部件特征。然而，由于遮挡导致的部件外观信息缺失以及来自外部模型的噪声空间信息，这些纯视觉方法难以从有限的训练数据中正确学习人体部件特征，同时难以准确定位部件，从而导致部件特征对齐不准确。为此，我们提出一种基于提示的特征解缔方法 (ProFD)，利用文本模态中丰富的预训练知识帮助模型生成对齐良好的部件特征。ProFD 首先设计特定的部件提示，并利用噪声分段掩码初步对齐视觉和文本嵌入，使文本提示具有空间感知能力。此外，为缓解来自外部掩码的噪声，ProFD 采用混合注意力解码器，确保解码过程中的空间和语义一致性，以最小化噪声影响。此外，为避免灾难性遗忘，我们采用自蒸馏策略，保留 CLIP 的预训练知识以缓解过拟合。在 Market1501、DukeMTMC-ReID、Occluded-Duke、Occluded-ReID 和 P-DukeMTMC 数据集上的评估结果表明，ProFD 实现了最先进的成绩。我们的项目地址: https://github.com/Cuixxx/ProFD。
引用
@article{arxiv.2409.20081,
title = {ProFD: Prompt-Guided Feature Disentangling for Occluded Person Re-Identification},
author = {Can Cui and Siteng Huang and Wenxuan Song and Pengxiang Ding and Min Zhang and Donglin Wang},
journal= {arXiv preprint arXiv:2409.20081},
year = {2024}
}
备注
Accepted by ACM MM 2024