重新思考少样本图像融合：细粒球先验驱动通用深层融合
图形学
2026-03-12 v5 计算机视觉与模式识别
机器学习
图像与视频处理
机器学习
摘要
在图像融合任务中，缺乏真实融合图像作为监督信号 presents significant 挑战。现有的深度学习方法通常通过设计手工先验或依赖大规模数据集来学习模型参数来解决此问题。与以往方法不同，本文引入不完整先验的概念，这些先验在算法层面正式描述手工先验并估计其置信度。基于这一思想，我们通过样本级自适应损失函数将不完整先验与神经网络耦合，使网络能在接近真实融合过程的条件下学习和重新推断融合规则。为生成不完整先验，我们提出基于粗粒计算原理的细粒球像素计算（GBPC）算法。该算法将融合图像像素建模为信息单元，在细粒层级估计像素权重，在粗粒层级统计评估先验可靠性。这种设计使算法能够感知跨模态差异并执行自适应推断。实验结果表明，即便在少样本条件下，轻量级神经网络仅通过训练来自十个图像对的图像块即可学习有效的融合规则。跨越多个融合任务和数据集的广泛实验进一步表明，所提方法在视觉质量和模型紧凑性方面均表现出优越性能。代码已公开：https://github.com/DMinjie/GBFF
引用
@article{arxiv.2504.08937,
title = {Rethinking Few-Shot Image Fusion: Granular Ball Priors Enable General-Purpose Deep Fusion},
author = {Minjie Deng and Yan Wei and An Wu and Yuncan Ouyang and Hao Zhai and Qianyao Peng},
journal= {arXiv preprint arXiv:2504.08937},
year = {2026}
}