DuGI-MAE：通过双域引导提升红外掩码自编码器
计算机视觉与模式识别
2026-02-05 v1
摘要
红外成像在低光照和恶劣天气条件下发挥着关键作用。然而，由于红外图像的独特特性，在可见光数据上训练的现有基础模型（如掩码自编码器MAE）在红外图像理解任务中表现欠佳。为弥补这一差距，研究者开发了红外基础模型InfMAE，并在大规模红外数据集上进行了预训练。尽管InfMAE效果显著，但仍面临若干局限，包括信息令牌遗漏、全局关联建模不足以及非均匀噪声被忽视等问题。本文提出了一种基于MAE的双域引导红外基础模型DuGI-MAE。首先，我们设计了一种基于令牌熵的确定性掩码策略，仅保留高熵令牌用于重建，以增强信息性。其次，我们引入了一个双域引导（DDG）模块，同时捕获全局令牌关系并自适应地滤除红外图像中常见的非均匀背景噪声。为支持大规模预训练，我们构建了Inf-590K，一个涵盖多样场景、多种目标类型和多个空间分辨率的综合红外图像数据集。在Inf-590K上预训练的DuGI-MAE在红外目标检测、语义分割和小目标检测等多种下游任务中展现出强大的泛化能力。实验结果验证了所提方法在有监督和自监督对比方法上的优越性。代码在补充材料中提供。
引用
@article{arxiv.2512.04511,
title = {DuGI-MAE: Improving Infrared Mask Autoencoders via Dual-Domain Guidance},
author = {Yinghui Xing and Xiaoting Su and Shizhou Zhang and Donghao Chu and Di Xu},
journal= {arXiv preprint arXiv:2512.04511},
year = {2026}
}