探索跨域预训练模型用于高光谱图像分类

预训练-微调策略被广泛用于减少因 CNN 训练数据不足而可能出现的过拟合。在大规模 RGB 数据集上预训练的 CNN 的前几层能够获取通用图像特征，这些特征在针对不同 RGB 数据集的任务中非常有效。然而，对于每个域都具有独特光谱特性的高光谱领域，预训练-微调策略无法再以常规方式部署，同时面临三个主要问题：1）域间光谱特性不一致（例如频率范围），2）域间数据通道数不一致，以及 3）缺乏大规模高光谱数据集。我们旨在训练一个通用的跨域模型，该模型后续可部署于各种光谱域。为实现这一目标，我们物理上为模型配备了多个入口，同时拥有一个通用部分，该部分旨在处理不同域间不一致的光谱特性。请注意，在微调过程中仅使用通用部分。这种方法自然地使我们的模型能够在多个域上同时学习，这有效地解决了缺乏大规模数据集的问题。我们进行了一项研究，广泛比较了使用跨域方法训练的模型与从头开始训练的模型。我们发现我们的方法在准确性和训练效率上均更优。此外，我们验证了我们的方法有效减少了过拟合问题，使我们能够在不牺牲精度的情况下将模型加深至 13 层（从 9 层）。