用于领域无关自监督学习的自引导掩码自编码器

自监督学习擅长从大量无标签数据中学习表征，并在多种数据模态中取得了成功。然而，将自监督学习扩展到新模态并非易事，因为现有方法的具体细节是为每个领域量身定制的，例如反映目标任务不变性的领域特定增强。虽然掩码建模作为一种不依赖输入增强的领域无关自监督学习框架颇具前景，但其掩码采样过程仍然是领域特定的。我们提出了自引导掩码自编码器 (SMA)，这是一种完全领域无关的掩码建模方法。SMA 通过学习无需任何领域特定假设的采样掩码，利用掩码建模目标训练基于注意力的模型。我们在蛋白质生物学、化学性质预测和粒子物理三个自监督学习基准上评估了 SMA。我们发现 SMA 能够在没有领域特定知识的情况下学习表征，并在这三个基准上实现了最先进 (SOTA) 的性能。