MISFIT-V：利用热成像与可见光信息的错位图像合成与融合
计算机视觉与模式识别
2023-09-26 v1 人工智能
人机交互
机器人学
摘要
从机载可见光与热成像中检测人员是荒野搜救（WiSAR）团队的一项基本挑战，他们必须在巨大压力下准确执行此功能。融合这两种传感器模态的能力，有望降低人类操作员的认知负荷和/或提升计算机视觉目标检测模型的有效性。然而，由于硬件限制与极端环境因素，融合任务在 WiSAR 背景下尤为艰巨。本工作提出利用热成像与可见光信息的错位图像合成与融合（MISFIT-V），一种新颖的双管齐下无监督深度学习方法，其利用生成对抗网络（GAN）与交叉注意力机制来捕获各模态中最相关的特征。实验结果表明，与现有可见光-热成像融合方法相比，MISFIT-V 对错位及不良光照/热环境条件的鲁棒性更强。
引用
@article{arxiv.2309.13216,
title = {MISFIT-V: Misaligned Image Synthesis and Fusion using Information from Thermal and Visual},
author = {Aadhar Chauhan and Isaac Remy and Danny Broyles and Karen Leung},
journal= {arXiv preprint arXiv:2309.13216},
year = {2023}
}