主动学习帮助预训练模型学习预期任务
机器学习
2022-04-20 v1 计算与语言
计算机视觉与模式识别
摘要
由于任务歧义，当多种行为与所提供的训练数据一致时，模型在部署过程中可能以不可预测的方式失败。一个例子是在红色方块和蓝色圆圈上训练的物体分类器：当遇到蓝色方块时，预期行为是未定义的。我们研究预训练模型是否是更好的主动学习者，能够消除用户可能试图指定的可能任务之间的歧义。有趣的是，我们发现更好的主动学习是预训练过程的一种涌现属性：在使用基于不确定性的主动学习时，预训练模型所需的标签最多减少 5 倍，而非预训练模型则看不到甚至看到负面收益。我们发现这些收益来自于选择具有能消除预期行为歧义的属性的示例的能力，例如罕见的产品类别或非典型背景。这些属性在预训练模型的表示空间中比在非预训练模型中远更具线性可分性，为这一行为提供了一种可能的机制。
引用
@article{arxiv.2204.08491,
title = {Active Learning Helps Pretrained Models Learn the Intended Task},
author = {Alex Tamkin and Dat Nguyen and Salil Deshpande and Jesse Mu and Noah Goodman},
journal= {arXiv preprint arXiv:2204.08491},
year = {2022}
}