面向含损坏数据的可见光-红外行人重识别的多模态数据增强
计算机视觉与模式识别
2022-11-23 v1 人工智能
摘要
在复杂摄像机网络中对个体进行重识别（ReID）是一项具有挑战性的任务，尤其在真实世界监控条件下。已有若干深度学习模型被提出用于可见光-红外（V-I）行人 ReID，以从 RGB 和 IR 摄像机捕获的图像中识别个体。然而，若测试时捕获的 RGB 和 IR 图像被损坏（如噪声、模糊和天气条件），性能可能显著下降。尽管已探索多种数据增强（DA）方法以提升泛化能力，但这些方法并未针对 V-I 行人 ReID 进行适配。本文提出一种专门的数据增强策略以解决该多模态设定。给定 V 和 I 两种模态，该策略可减小损坏对深度行人 ReID 模型精度的影响。损坏可能是模态特定的，而额外模态常提供互补信息。我们的多模态 DA 策略专门设计用于促进模态协作并增强泛化能力。例如，对模态的局部掩码迫使模型选择信息丰富的模态。还探索了局部 DA 以在模态内和模态间进行高级特征选择。在使用所提多模态 DA 策略训练 V-I 行人 ReID 基线融合模型时，于 SYSU-MM01、RegDB 和 ThermalWORLD 数据集的损坏版本上从复杂度和效率方面进行了评估。结果表明，使用我们的策略使 V-I ReID 模型能够利用共享与独立模态知识，从而优于无 DA 或单模态 DA 训练的模型。GitHub 代码：https://github.com/art2611/ML-MDA。
引用
@article{arxiv.2211.11925,
title = {Multimodal Data Augmentation for Visual-Infrared Person ReID with Corrupted Data},
author = {Arthur Josi and Mahdi Alehdaghi and Rafael M. O. Cruz and Eric Granger},
journal= {arXiv preprint arXiv:2211.11925},
year = {2022}
}
备注
8 pages of main content, 2 pages of references, 2 pages of supplementary material, 3 figures, WACV 2023 RWS workshop,