按需融合：基于直接偏好优化实现图像融合的异构需求对齐
计算机视觉与模式识别
2026-05-08 v1
摘要
作为多模态处理中的关键技术，红外和可见图像融合（IVIF）在集成互补光谱信息以实现视觉增强和下游视觉任务方面发挥着关键作用。尽管取得了显著进展，现有方法仍难以灵活地满足异构需求。实现兼顾人类和机器视觉各种偏好的自适应融合仍是开放且具有挑战性的问题。为此，我们提出了 DPOFusion 框架，集成了属性对齐潜在扩散模型（PALDM）和偏好可控潜在扩散模型（PCLDM），实现面向人类和机器视觉的任务导向、偏好自适应 IVIF。PALDM 利用潜在融合先验和联合条件损失生成多样化的融合结果，涵盖各种属性。随后，PCLDM 通过实例直接偏好优化（IDPO）进行微调，实现对最终融合结果的精准控制。实验结果表明，我们的框架不仅在人类、视觉语言模型和任务驱动网络之间实现了精确的偏好对齐，还在自适应融合质量和任务导向可迁移性方面树立了新基准。
引用
@article{arxiv.2605.06049,
title = {Fusion in Your Way: Aligning Image Fusion with Heterogeneous Demands via Direct Preference Optimization},
author = {Weijian Su and Songqian Zhang and Yuqi Han and Jian Zhuang and Yongdong Huang and Qiang Zhang},
journal= {arXiv preprint arXiv:2605.06049},
year = {2026}
}
备注
Accepted by CVPR 2026