释放模型潜力：自举元自监督学习

机器学习的长远目标是利用少量无标注数据学习通用视觉表征，以模拟人类认知的三大优势：i) 无需标签，ii) 对数据稀缺具有鲁棒性，iii) 从经验中学习。自监督学习与元学习是实现该目标的两种有前景的技术，但二者均只部分捕捉了这些优势，未能解决所有问题。自监督学习难以克服数据稀缺的缺陷，且忽视了可促进学习与泛化的先验知识。元学习依赖监督信息并受限于学习不足的瓶颈。为解决这些问题，我们提出一种新颖的自举元自监督学习（BMSSL）框架，旨在模拟人类学习过程。我们首先分析了元学习与自监督学习之间的紧密联系。基于此洞见，我们重构任务以兼顾两种范式的优势，实现优势 i 与 ii。此外，我们采用双层优化框架，在运用习得能力解决具体任务（第一层）与提升该能力（第二层）之间交替，从而获得优势 iii。为充分释放其威力，我们引入基于元梯度的自举目标，使模型成为自身的教师。我们通过理论与实证研究的全面验证表明了方法的有效性。