PAD：面向红外图像的基于分块尺度适配器的自监督预训练
计算机视觉与模式识别
2023-12-14 v1
摘要
针对RGB图像的自监督学习（SSL）已取得显著成功，然而针对红外图像的SSL研究仍然有限，这主要源于三个突出挑战：1）缺乏合适的大规模红外预训练数据集；2）非图标性红外图像的特殊性使得掩码图像建模（MIM）等常见预训练任务效果不佳；3）细粒度纹理的稀缺使得学习通用图像特征尤为困难。为解决这些问题，我们构建了一个包含178,756张图像的多场景红外预训练（MSIP）数据集，并引入了一种图像预处理方法——目标敏感随机RoI裁剪，以应对非图标性图像带来的挑战。为减轻弱纹理对特征学习的影响，我们提出了一种名为预训练适配器（PAD）的预训练范式，该范式使用适配器学习领域特定特征，同时冻结在ImageNet上预训练的参数以保留通用特征提取能力。这种新范式适用于任何基于Transformer的自监督学习方法。此外，为了在不同层和块之间实现预训练特征与新学习特征更灵活的协调，我们引入了一种具有动态可学习尺度因子的块尺度适配器。在三个下游任务上的大量实验表明，PAD仅需1.23M可预训练参数，其性能便优于其他基线范式，包括在MSIP上的持续全量预训练。我们的代码和数据集可在https://github.com/casiatao/PAD获取。
引用
@article{arxiv.2312.08192,
title = {PAD: Self-Supervised Pre-Training with Patchwise-Scale Adapter for Infrared Images},
author = {Tao Zhang and Kun Ding and Jinyong Wen and Yu Xiong and Zeyu Zhang and Shiming Xiang and Chunhong Pan},
journal= {arXiv preprint arXiv:2312.08192},
year = {2023}
}