面向目标检测的红外部与可见光融合：目标感知对偶对抗学习及多场景多模态基准
计算机视觉与模式识别
2022-03-31 v1
摘要
本研究解决红外与可见光图像因外观差异大而为目标检测进行融合的问题。以往方法旨在生成高视觉质量图像，通过迭代优化或深度网络发现两模态下的共性并在共性空间上融合，忽视了隐含互补信息的模态差异对融合及后续检测任务极为重要。本文提出融合与检测联合问题的双层优化公式，并展开为目标感知对偶对抗学习（TarDAL）融合网络与常用检测网络。具有一个生成器与双判别器的融合网络在寻求共性的同时从差异中学习，从而保留红外中目标的结构信息与可见光中的纹理细节。此外，我们构建了带标定红外与光学传感器的同步成像系统，并收集了目前涵盖广泛场景的最全面基准。在若干公开数据集与我们的基准上的大量实验表明，我们的方法不仅输出视觉吸引人的融合结果，且检测 mAP 高于最先进方法。
引用
@article{arxiv.2203.16220,
title = {Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection},
author = {Jinyuan Liu and Xin Fan and Zhanbo Huang and Guanyao Wu and Risheng Liu and Wei Zhong and Zhongxuan Luo},
journal= {arXiv preprint arXiv:2203.16220},
year = {2022}
}
备注
Accepted by IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022. (Oral)