定制：在预测时通过优化无监督目标编码归纳偏置
机器学习
2021-09-07 v5 计算机视觉与模式识别
机器学习
摘要
从CNN到注意力机制，将归纳偏置编码进神经网络一直是机器学习中富有成效的改进来源。向主目标函数添加辅助损失是一种通用的编码偏置方式，可帮助网络学习更好的表示。然而，由于辅助损失仅在训练数据上被最小化，它们与常规任务损失面临同样的泛化差距。此外，通过向损失函数添加一项，模型优化的是与我们关注目标不同的目标。本工作中我们解决这两个问题：首先，我们从\textit{转导学习}获得启发，注意到在接收到输入之后、做出预测之前，我们可以在任何无监督损失上微调网络。我们称此过程为{\em 定制}（tailoring），因为我们将模型针对每个输入进行定制，以确保预测满足归纳偏置。其次，我们提出{\em 元定制}（meta-tailoring），一种类似于元学习中的嵌套优化，并训练模型在使用无监督损失自适应后于任务目标上表现良好。定制与元定制的优势在理论上进行了讨论，并在一组多样的实例上进行了实证展示。
引用
@article{arxiv.2009.10623,
title = {Tailoring: encoding inductive biases by optimizing unsupervised objectives at prediction time},
author = {Ferran Alet and Maria Bauza and Kenji Kawaguchi and Nurullah Giray Kuru and Tomas Lozano-Perez and Leslie Pack Kaelbling},
journal= {arXiv preprint arXiv:2009.10623},
year = {2021}
}
备注
NeurIPS 2020 workshops on Interpretable Inductive Biases and Meta-learning