用于遮挡行人重识别的动态特征剪枝与整合
计算机视觉与模式识别
2023-12-22 v2
摘要
遮挡行人重识别（ReID）因遮挡物干扰而具有挑战性。现有方法利用人体关键点与语义分割等先验知识线索解决问题，在严重遮挡及以其他人为遮挡物时容易失效。本文提出特征剪枝与整合（FPC）框架以规避显式人体结构解析。该框架主要由稀疏编码器、多视角特征匹配模块和特征整合解码器组成。具体而言，稀疏编码器仅基于类令牌注意力内部的相关性，丢弃较不重要的图像令牌（大多与背景噪声和遮挡物相关）。随后，匹配阶段依赖稀疏编码器保留的令牌，通过度量图像与块级组合相似度在图库中识别k近邻。最后，我们利用特征整合模块借助识别出的近邻补偿被剪枝的特征，以恢复本质信息，同时忽略噪声与遮挡的干扰。实验结果表明所提框架在遮挡、局部和整体Re-ID数据集上的有效性。特别地，我们的方法在具有挑战性的Occluded-Duke数据集上以至少8.6% mAP和6.0% Rank-1准确率优于最优结果。
引用
@article{arxiv.2211.14742,
title = {Dynamic Feature Pruning and Consolidation for Occluded Person Re-Identification},
author = {YuTeng Ye and Hang Zhou and Jiale Cai and Chenxing Gao and Youjia Zhang and Junle Wang and Qiang Hu and Junqing Yu and Wei Yang},
journal= {arXiv preprint arXiv:2211.14742},
year = {2023}
}
备注
Accepted by AAAI-24