可见与红外图像融合评估的重新思考

可见红外图像融合（VIF）在目标检测、语义分割等高层视觉任务中受到广泛关注。然而，由于缺乏真实答案，VIF 方法的评估仍面临挑战。本文提出一种面向分割的评估方法（Segmentation-oriented Evaluation Approach, SEA），通过融合语义分割任务并利用最新 VIF 数据集中可用的分割标签来评估 VIF 方法。具体而言，SEA 利用能够处理多样化图像和类别的通用分割模型，从融合图像预测分割输出，并将其与分割标签进行比较。我们使用 SEA 对近期 VIF 方法进行评估，发现其性能与仅使用可见图像相当或甚至更差，尽管近半数的红外图像显示出优于可见图像的性能。进一步分析表明，与我们 SEA 最相关的两个指标是传统 VIF 评估指标中最具梯度的融合指标 $Q_{\text{ABF}}$ 和视觉信息保真度指标 $Q_{\text{VIFF}}$，这两个指标可在分割标签不可用时作为代理指标。我们希望我们的评估方法能指引开发新型且实用的 VIF 方法。代码已发布于 \url{https://github.com/Yixuan-2002/SEA/}。