MAST：用于可泛化自监督先验的掩码增强子空间训练
机器学习
2023-03-08 v1 计算机视觉与模式识别
摘要
近期的自监督学习（SSL）方法能够学习对不同数据增强不变的特征表示，这些表示可迁移到感兴趣的下流任务。然而，不同的下游任务需要不同的不变性以达到最佳性能，因此SSL增强的最优选择取决于目标任务。本文旨在学习能够跨多种下游任务（例如目标分类、检测和实例分割）良好泛化的自监督特征，且事先不知晓任何任务信息。我们通过掩码增强子空间训练（MAST）以分解的方式在单一特征空间中编码来自不同数据增强的先验。具体而言，我们将特征空间解耦为独立的子空间，每个子空间由可学习掩码诱导，该掩码选择相关特征维度以建模对特定增强的不变性。我们展示了MAST成功联合捕获来自不同增强的可泛化先验，在各子空间中使用独特和共享特征。我们进一步表明MAST受益于不确定性建模，以重新加权来自强增强的模糊样本，这些样本可能在各子空间中引起相似性不匹配。实验证明MAST在多种下游任务上持续提升泛化性，同时在SSL期间任务无关且高效。我们还提供了关于不同增强如何关联以及不确定性如何反映学习难度的有趣见解。
引用
@article{arxiv.2303.03679,
title = {MAST: Masked Augmentation Subspace Training for Generalizable Self-Supervised Priors},
author = {Chen Huang and Hanlin Goh and Jiatao Gu and Josh Susskind},
journal= {arXiv preprint arXiv:2303.03679},
year = {2023}
}
备注
ICLR 2023