迈向可持续的自监督学习
计算机视觉与模式识别
2022-10-21 v1
摘要
尽管训练代价日益高昂，大多数自监督学习（SSL）模型仍被反复从头训练而未充分利用，因为只有少数 SOTA 被用于下游任务。本工作中，我们探索一种可持续的 SSL 框架，面临两大挑战：i) 以低成本方式基于已有的预训练 SSL 模型（亦称“基”模型）学习一个更强的新的 SSL 模型；ii) 使新模型的训练能与各种基模型兼容。我们提出目标增强条件（TEC）方案，向现有基于掩码重建的 SSL 引入两个组件。首先，我们提出块关系增强目标，其增强基模型给出的目标，并鼓励新模型利用不完整输入从基模型学习语义关系知识。这种困难化与目标增强有助于新模型超越基模型，因为它们施加了额外的块关系建模以处理不完整输入。其次，我们引入条件适配器，自适应调整新模型预测以对齐不同基模型的目标。大量实验结果表明，我们的 TEC 方案能加速学习速度，并改进 SOTA SSL 基模型（如 MAE 和 iBOT），向可持续 SSL 迈出探索性一步。
引用
@article{arxiv.2210.11016,
title = {Towards Sustainable Self-supervised Learning},
author = {Shanghua Gao and Pan Zhou and Ming-Ming Cheng and Shuicheng Yan},
journal= {arXiv preprint arXiv:2210.11016},
year = {2022}
}
备注
Extension of NeurIPS 2022 workshop