基于Viewmaker网络的多光谱对比学习

对比学习方法已通过训练模型识别数据点的相似"视图"而被应用于一系列领域与模态。然而,专门的科学模态对该范式提出了挑战,因为为每种科学仪器确定良好视图既复杂又耗时。本文中,我们聚焦于将对比学习方法应用于多种遥感数据集。我们表明,近期提出的用于生成视图的Viewmaker网络,在此场景下无需大量领域知识与反复试错即可生成视图,颇具前景。我们将Viewmaker应用于四个多光谱成像问题,每个问题格式各异,发现当在下流分类任务上评估时,Viewmaker在每种情况下都优于基于裁剪和反射的对比学习方法。这进一步证明,与领域无关的方法能够使对比学习扩展到真实世界的科学领域。开源代码见https://github.com/jbayrooti/divmaker。