MetaMask：重新审视自监督学习中的维度混淆因子
机器学习
2023-08-11 v5 计算机视觉与模式识别
摘要
作为一种成功的自监督学习方法，对比学习旨在学习输入样本各种失真之间共享的不变量信息。尽管对比学习在采样策略与架构设计上不断取得进展，仍存在两个持续的缺陷：与任务无关信息的干扰与样本低效，这与平凡常数解的反复出现有关。从维度分析视角，我们指出维度冗余与维度混淆因子是这些现象背后的本质问题，并提供了实验证据支持该观点。我们进一步提出一种简洁而有效的方法 MetaMask（即由元学习学到的维度掩码），以学习抵御维度冗余与混淆因子的表示。MetaMask 采用冗余约简技术处理维度冗余问题，并创新性地引入维度掩码来削弱包含混淆因子的特定维度的梯度影响，该掩码通过以提升掩码表示在典型自监督任务上的表现为目标、采用元学习范式训练得到。我们给出严谨的理论分析，证明相较于典型对比方法，MetaMask 能为下游分类获得更紧的风险界。在实验上，我们的方法在各基准上取得了最先进的性能。
引用
@article{arxiv.2209.07902,
title = {MetaMask: Revisiting Dimensional Confounder for Self-Supervised Learning},
author = {Jiangmeng Li and Wenwen Qiang and Yanan Zhang and Wenyi Mo and Changwen Zheng and Bing Su and Hui Xiong},
journal= {arXiv preprint arXiv:2209.07902},
year = {2023}
}
备注
Accepted by NeurIPS 2022 as Spotlight