MaeFuse：基于预训练掩码自编码器的红外可见图像融合
计算机视觉与模式识别
2025-02-11 v2 人工智能
摘要
本文提出MaeFuse，一种用于红外可见图像融合（IVIF）的新型自编码器模型。现有图像融合方法常依赖下游任务训练以获取高层视觉信息，在突出目标物体、视觉质量及任务适配方面表现突出。与此不同，MaeFuse采用掩码自编码器（MAE）预训练编码器，利用其低层重构与高层视觉任务的 Omni 特征提取能力，获取感知友好特征且计算成本低。为消除不同模态特征间的域差异及MAE编码器引起的块状效应，我们进一步开发了引导式训练策略。该策略精细设计，确保融合层平滑适配编码器特征空间，逐步提升融合性能。方法实现了红外与可见两种模态特征向量的全面整合，保留各模态的丰富细节。MaeFuse不仅为融合技术提供新视角，还在多个公开数据集上展现卓越性能。
引用
@article{arxiv.2404.11016,
title = {MaeFuse: Transferring Omni Features with Pretrained Masked Autoencoders for Infrared and Visible Image Fusion via Guided Training},
author = {Jiayang Li and Junjun Jiang and Pengwei Liang and Jiayi Ma and Liqiang Nie},
journal= {arXiv preprint arXiv:2404.11016},
year = {2025}
}