基于元学习掩码自编码器的模态无关自监督学习
机器学习
2023-10-26 v1 人工智能
摘要
尽管自监督学习（SSL）在广泛模态中具有实际重要性，但近期进展主要集中于少数精心整理的领域（如视觉与语言），且常依赖其领域特定知识。例如，掩码自编码器（MAE）已成为这些领域中的流行架构之一，但其在其他模态中的潜力鲜有探索。本文中，我们将 MAE 发展为统一的、模态无关的自监督学习框架。进而，我们认为元学习是将 MAE 解释为模态无关学习器的关键，并出于联合改进其在多样模态下 SSL 表现的动机提出对 MAE 的增强，最终称之为 MetaMAE。我们的核心思想是将 MAE 的掩码重建视为元学习任务：掩码词元通过未掩码词元的摊销来适配 Transformer 元学习器从而被预测。基于这一新颖解释，我们提出整合两种先进元学习技术。首先，我们利用基于梯度的元学习适配 Transformer 编码器的摊销隐变量以增强重建。随后，我们通过任务对比学习最大化摊销隐变量与适配隐变量间的对齐，从而引导 Transformer 编码器更好地编码任务特定知识。我们的实验证明了 MetaMAE 在模态无关 SSL 基准（称为 DABS）中的优越性，显著优于先前基线。代码见 https://github.com/alinlab/MetaMAE。
引用
@article{arxiv.2310.16318,
title = {Modality-Agnostic Self-Supervised Learning with Meta-Learned Masked Auto-Encoder},
author = {Huiwon Jang and Jihoon Tack and Daewon Choi and Jongheon Jeong and Jinwoo Shin},
journal= {arXiv preprint arXiv:2310.16318},
year = {2023}
}
备注
Accepted to NeurIPS 2023. The first two authors contributed equally