基于忽略的学习及其在领域自适应中的应用
机器学习
2021-03-12 v2 人工智能
计算机视觉与模式识别
摘要
基于忽略的学习通过识别不重要的事物并将其排除在学习过程之外，在人类学习中得到广泛实践并展现出普遍的有效性。心理学研究表明，学习忽略某些事物是帮助人们集中注意力的有力工具。在本文中，我们探讨是否可以借鉴这种有效的人类学习方法来改进机器学习。我们提出了一种新颖的机器学习框架，称为基于忽略的学习（LBI）。我们的框架通过为每个样本学习一个忽略变量，自动识别与目标分布存在较大领域差异的预训练数据样本，并将其排除在预训练过程之外。我们将 LBI 形式化为一个三层优化框架，涉及三个学习阶段：通过最小化由忽略变量加权的损失进行预训练；微调；通过最小化验证损失来更新忽略变量。我们开发了一种基于梯度的算法来高效求解 LBI 中的三层优化问题。在多个数据集上的实验证明了我们框架的有效性。
引用
@article{arxiv.2012.14288,
title = {Learning by Ignoring, with Application to Domain Adaptation},
author = {Xingchen Zhao and Xuehai He and Pengtao Xie},
journal= {arXiv preprint arXiv:2012.14288},
year = {2021}
}