由主观视觉注意引导的跨模态图像融合理论
计算机视觉与模式识别
2019-12-24 v1
摘要
人类视觉感知系统在多种图像处理任务中具有极强的鲁棒性与上下文感知能力。这种鲁棒性与上下文感知能力与人类视觉感知系统的多任务辅助学习特性和主观注意特性密切相关。为提升图像融合任务的鲁棒性与上下文感知能力，我们提出了一种由主观注意引导的多任务辅助学习图像融合理论。该图像融合理论有效统一了人脑的主观任务意图与先验知识。为实现我们所提的图像融合理论，我们首先分析多任务辅助学习机制，构建多任务辅助学习网络。其次，基于人类视觉注意感知机制，我们在多任务辅助学习网络基础上引入由主观任务引导的人类视觉注意网络。主观意图通过主观注意任务模型引入，使网络能依据主观意图融合图像。最后，为验证我们图像融合理论的优越性，我们在组合视觉系统图像数据集以及红外与可见光图像数据集上进行了实验验证。实验结果表明，我们的融合理论在上下文感知与鲁棒性上优于现有最优（state-of-the-arts）方法。
引用
@article{arxiv.1912.10718,
title = {Cross-Modal Image Fusion Theory Guided by Subjective Visual Attention},
author = {Aiqing Fang and Xinbo Zhao and Yanning Zhang},
journal= {arXiv preprint arXiv:1912.10718},
year = {2019}
}