基于加强知识蒸馏的遮挡引导特征精炼学习用于遮挡人体重识别

遮挡人体重识别旨在基于遮挡图像检索完整图像。现有方法常依赖对齐可见身体部位、应用遮挡增强或利用完整图像补充缺失语义，但面临训练期间未见多样遮挡场景以及特征来自完整图像的污染问题。为此，本文提出遮挡引导特征精炼学习通过加强知识蒸馏 (OGFR) 的方法，同时缓解上述挑战。OGFR 采用教师-学生蒸馈架构，有效地将多样遮挡模式融入特征表示，同时通过加强知识蒸馈将经特征精炼后的判别性完整知识从完整分支传递到遮挡分支。具体而言，设计了遮挡感知视觉转换器，通过可学习的遮挡模式嵌入显式建模多样遮挡类型，从而引导遮挡感知稳健特征表示。此外，在完整分支中设计了特征擦除与精炼模块，利用深度强化学习中的智能体识别包含噪声负信息的低质量 patch token，并用可学习的嵌入 token 替代，以避免特征污染并进一步挖掘身份相关的判别性线索。随后，借助知识蒸馈，学生分支能够有效吸收经特征精炼后的完整知识，从而准确学习稳健特征表示，而不受遮挡干扰。