InfMAE：一种红外模态的基础模型
计算机视觉与模式识别
2024-09-17 v2
摘要
近年来，基础模型席卷了计算机视觉领域，促进了不同模态下各种任务的发展。然而，如何设计红外基础模型仍是一个开放问题。本文提出了一种红外模态的基础模型 InfMAE。我们发布了一个名为 Inf30 的红外数据集，以解决红外视觉社区缺乏用于自监督学习的大规模数据的问题。此外，我们设计了一种适用于红外图像的信息感知掩码策略。该掩码策略允许在自监督学习过程中更加侧重于红外图像中信息更丰富的区域，有利于学习泛化表示。另外，我们采用多尺度编码器来增强预训练编码器在下游任务中的性能。最后，基于红外图像没有大量细节和纹理信息这一事实，我们设计了一个红外解码器模块，进一步提升了下游任务的性能。大量实验表明，我们提出的方法 InfMAE 在三个下游任务中优于其他监督方法和自监督学习方法。
引用
@article{arxiv.2402.00407,
title = {InfMAE: A Foundation Model in the Infrared Modality},
author = {Fangcen Liu and Chenqiang Gao and Yaming Zhang and Junjie Guo and Jinhao Wang and Deyu Meng},
journal= {arXiv preprint arXiv:2402.00407},
year = {2024}
}
备注
8 pages, 2 figures