参数共享探索与基于异类中心的三元组损失用于可见光-热成像行人重识别
计算机视觉与模式识别
2020-12-07 v2
摘要
本文关注可见光-热成像跨模态行人重识别（VT Re-ID）任务，其目标是在日间可见光模态与夜间热成像模态之间匹配行人图像。双流网络通常通过学习任务多模态行人特征来解决跨模态差异这一 VT Re-ID 最具挑战性的问题。本文探究双流网络应共享多少参数，该问题在现有文献中仍缺乏充分研究。通过合理拆分 ResNet50 模型以构建模态特定特征提取网络与模态共享特征嵌入网络，我们以实验论证了双流网络参数共享对 VT Re-ID 的影响。此外，在局部行人特征学习框架下，我们提出基于异类中心的三元组损失，以锚点中心与所有其他中心比较取代锚点与所有其他样本比较，从而放宽传统三元组损失的严格约束。凭借极为简单的手段，所提方法可显著提升 VT Re-ID 性能。在两个数据集上的实验结果表明，我们的方法大幅优于 SOTA 方法，尤其在 RegDB 数据集上取得优异性能，rank1/mAP/mINP 为 91.05%/83.28%/68.84%。凭借简洁而有效的策略，它可作为 VT Re-ID 的新基线。
引用
@article{arxiv.2008.06223,
title = {Parameter Sharing Exploration and Hetero-Center based Triplet Loss for Visible-Thermal Person Re-Identification},
author = {Haijun Liu and Xiaoheng Tan and Xichuan Zhou},
journal= {arXiv preprint arXiv:2008.06223},
year = {2020}
}
备注
to be published in IEEE Transactions on Multimedia