基于层次人类感知的红外与可见图像融合
计算机视觉与模式识别
2024-09-17 v1
摘要
图像融合将来自多个领域的图像组合为一张图像，包含来自源领域的互补信息。现有方法以像素强度、纹理和高层视觉任务信息为标准来确定信息保留，缺乏对人类感知的增强。我们引入一种图像融合方法——层次感知融合（Hierarchical Perception Fusion, HPFusion），利用大型视觉-语言模型（Large Vision-Language Model）来融合层次人类语义先验，保留满足人类视觉系统要求的互补信息。我们提出了人类在观察图像对时所关注的多个问题，并通过大型视觉-语言模型根据图像生成答案。答案文本被编码到融合网络中，优化目标也旨在引导融合后图像的人类语义分布更类似于源图像，从而探索人类感知领域内的互补信息。大量实验表明，HPFusion 能在信息保留和人类视觉增强方面实现高质量的融合结果。
引用
@article{arxiv.2409.09291,
title = {Infrared and Visible Image Fusion with Hierarchical Human Perception},
author = {Guang Yang and Jie Li and Xin Liu and Zhusi Zhong and Xinbo Gao},
journal= {arXiv preprint arXiv:2409.09291},
year = {2024}
}