VIIS：面向极暗光照图像增强的可见光与红外信息合成

在极暗光照环境下拍摄的图像通常存在严重的信息缺失。现有的单模态图像增强方法难以恢复缺乏有效信息的图像区域。通过利用不受光照影响的红外图像，可见光与红外图像融合方法有望揭示隐藏在黑暗中的信息。然而，这些方法主要强调跨模态互补而忽视了模态内增强，限制了输出图像的感知质量。为解决这些局限性，我们提出了一项新任务，称为可见光与红外信息合成（VIIS），旨在同时实现两种模态的信息增强与融合。鉴于 VIIS 任务中难以获取真实标签，我们设计了一种基于图像增强的信息合成前置任务（ISPT）。我们采用扩散模型作为框架，并设计了一种基于稀疏注意力的双模态残差（SADMR）条件机制，以增强两种模态间的信息交互。该机制使得具备两种模态先验知识的特征能够在去噪过程中自适应且迭代地关注各模态的信息。大量实验表明，我们的模型在定性和定量上不仅优于相关领域的 SOTA 方法，也优于新设计的具备信息增强与融合能力的基线方法。代码可在 https://github.com/Chenz418/VIIS 获取。