用于RGB-深度行人重识别的跨模态蒸馏
计算机视觉与模式识别
2022-02-15 v3 图像与视频处理
摘要
行人重识别是跨多传感器监控的一项关键挑战。受强大的视觉识别深度学习模型以及廉价RGB-D相机和传感器丰富的移动机器人平台（如自动驾驶车辆）出现的推动，我们研究了RGB（彩色）与深度图像之间行人跨模态重识别这一相对未被充分探索的问题。不同传感器模态间数据分布的显著差异，在视角不同、遮挡、姿态与光照变化等典型困难之外引入了额外挑战。尽管已有一些工作研究了RGB与红外之间的重识别，我们从物体检测任务中RGB到深度迁移学习的成功获得启发。我们的主要贡献是一种用于鲁棒行人重识别的跨模态蒸馏新方法，其学习RGB与深度图像中行人外观的共享特征表示空间。此外，我们提出一种跨模态注意力机制，其中一个模态的门控信号可动态激活另一模态最具判别力的CNN滤波器。所提蒸馏方法与为其他跨域重识别任务提出的常规及深度学习方法进行了比较。在公开BIWI和RobotPKU数据集上获得的结果表明，所提方法在平均精度均值（mAP）上可比最先进方法显著高出至多16.1%，展示了蒸馏范式的益处。实验结果还表明，相较于所提蒸馏方法及相关最先进方法，使用跨模态注意力可显著提升识别准确率。
引用
@article{arxiv.1810.11641,
title = {Cross-Modal Distillation for RGB-Depth Person Re-Identification},
author = {Frank Hafner and Amran Bhuiyan and Julian F. P. Kooij and Eric Granger},
journal= {arXiv preprint arXiv:1810.11641},
year = {2022}
}