免配准混合学习赋能简易多模态成像系统实现高质量融合检测
计算机视觉与模式识别
2023-07-10 v1
摘要
多模态融合检测始终对成像系统与图像预处理提出较高要求，而高质量的预配准系统或图像配准处理均代价高昂。遗憾的是，现有融合方法均针对已配准的源图像设计，对于非同质特征（即同一空间位置处表达不同语义信息的一对特征），这些方法无法取得令人满意的性能。为此，我们提出 IA-VFDnet，一种 CNN-Transformer 混合学习框架，包含统一的高质量多模态特征匹配模块（AKM）与融合模块（WDAF），其中 AKM 与 DWDAF 协同工作以实现高质量的红外感知可见光融合检测，可应用于烟雾与野火检测。此外，在 M3FD 数据集上的实验验证了所提方法的优越性，IA-VFDnet 在常规配准条件下取得了优于其他 SOTA 方法的检测性能。另外，本文首次公开了未配准多模态烟雾与野火检测基准。
引用
@article{arxiv.2307.03425,
title = {Registration-Free Hybrid Learning Empowers Simple Multimodal Imaging System for High-quality Fusion Detection},
author = {Yinghan Guan and Haoran Dai and Zekuan Yu and Shouyu Wang and Yuanjie Gu},
journal= {arXiv preprint arXiv:2307.03425},
year = {2023}
}