基于元辅助学习的自监督泛化方法
机器学习
2019-11-28 v3 计算机视觉与模式识别
机器学习
摘要
利用辅助任务学习可提升主任务的泛化能力。然而，这需以手动标注辅助数据为代价。我们提出一种新方法，可自动学习辅助任务的恰当标签，从而在任何监督学习任务上取得改进，且无需访问任何额外数据。该方法训练两个神经网络：一个标签生成网络用于预测辅助标签，一个多任务网络用于与主任务一同训练辅助任务。标签生成网络的损失包含了多任务网络的损失，因此两网络间的这种交互可视为一种具有双梯度的元学习形式。我们表明，所提方法Meta AuXiliary Learning (MAXL)在7个图像数据集上优于单任务学习，且无需任何额外数据。我们还表明MAXL优于若干其他生成辅助标签的基线方法，甚至在与人工定义的辅助标签相比时也具有竞争力。本方法的自监督特性为自动化泛化指明了一个有前景的新方向。源代码见https://github.com/lorenmt/maxl。
引用
@article{arxiv.1901.08933,
title = {Self-Supervised Generalisation with Meta Auxiliary Learning},
author = {Shikun Liu and Andrew J. Davison and Edward Johns},
journal= {arXiv preprint arXiv:1901.08933},
year = {2019}
}
备注
Published at Conference on Neural Information Processing Systems 2019