面向可见光-红外行人重识别的谱感知 Softmax
计算机视觉与模式识别
2023-02-06 v1
摘要
可见光-红外行人重识别（VI-ReID）旨在跨模态匹配特定行人图像。尽管存在额外的模态差异，现有方法仍沿用广泛应用于单模态分类任务的 softmax 损失训练范式。softmax 损失对明显的模态鸿沟缺乏显式惩罚，这不利地限制了 VI-ReID 任务的性能上限。本文提出谱感知 softmax（SA-Softmax）损失，其能充分利用模态信息探索嵌入空间，并具有清晰的可解释性。具体而言，SA-Softmax 损失采用基于模态原型的异步优化策略，而非原始 softmax 损失中基于身份原型的同步优化。为鼓励两种模态间的高重叠度，SA-Softmax 通过来自另一光谱的原型优化每个样本。基于对该损失的观察与分析，我们以特征掩码与绝对相似度项修正 SA-Softmax，以缓解模型训练中的模糊优化。在 RegDB 与 SYSU-MM01 上的大量实验评估表明，在跨模态条件下 SA-Softmax 优于现有最优方法。
引用
@article{arxiv.2302.01512,
title = {Spectral Aware Softmax for Visible-Infrared Person Re-Identification},
author = {Lei Tan and Pingyang Dai and Qixiang Ye and Mingliang Xu and Yongjian Wu and Rongrong Ji},
journal= {arXiv preprint arXiv:2302.01512},
year = {2023}
}