用于夜间行人重识别的照明蒸馏框架及新基准
计算机视觉与模式识别
2023-09-01 v1
摘要
夜间行人重识别（ nighttime 下的 person re-identification）是视觉监控中非常重要且具有挑战性的任务，但尚未被充分研究。在低照度条件下，行人重识别方法的性能通常会急剧恶化。为应对夜间行人重识别中的低照度挑战，本文提出一种照明蒸馏框架（IDF），其利用照明增强与照明蒸馏方案来促进重识别模型的学习。具体而言，IDF 由主分支、照明增强分支和照明蒸馏模块组成。主分支用于从夜间图像中提取特征。照明增强分支首先使用非线性曲线映射方法从夜间图像估计出增强图像，随后提取增强特征。然而，由于不稳定的光照条件与增强失败，夜间与增强特征通常包含数据噪声。为充分利用夜间与增强特征的互补优势并抑制数据噪声，我们提出一种照明蒸馏模块。特别地，该照明蒸馏模块通过瓶颈融合模型融合两分支的特征，随后以蒸馏方式利用融合特征引导两分支的学习。此外，我们构建了一个真实世界的夜间行人重识别数据集，名为 Night600，包含从复杂户外环境下不同视角与夜间照度条件捕获的 600 个身份。实验结果表明，我们的 IDF 在两个夜间行人重识别数据集（即 Night600 与 Knight）上均可达到 SOTA 性能。我们将在 https://github.com/Alexadlu/IDF 发布代码与数据集。
引用
@article{arxiv.2308.16486,
title = {Illumination Distillation Framework for Nighttime Person Re-Identification and A New Benchmark},
author = {Andong Lu and Zhang Zhang and Yan Huang and Yifan Zhang and Chenglong Li and Jin Tang and Liang Wang},
journal= {arXiv preprint arXiv:2308.16486},
year = {2023}
}
备注
Accepted by TMM