从他人错误中学习：无需建模即可避免数据集偏差
计算与语言
2020-12-03 v1 机器学习
摘要
最先进的自然语言处理（NLP）模型常常学习建模数据集偏差和表层形式关联，而非针对预期底层任务的特征。已有工作展示了在偏差知识可用时规避这些问题的有效方法。我们考虑偏差问题可能未被显式识别的情况，并展示一种训练模型以学会忽略这些有问题关联的方法。我们的方法依赖于这样的观察：容量受限的模型主要学习利用数据集中的偏差。我们可以在专家乘积中利用此类容量受限模型的误差来训练更鲁棒的模型，从而绕过手工构建有偏模型的需要。我们展示了该方法在分布外设置中保持改进的有效性，即使有偏模型未针对任何特定偏差。
引用
@article{arxiv.2012.01300,
title = {Learning from others' mistakes: Avoiding dataset biases without modeling them},
author = {Victor Sanh and Thomas Wolf and Yonatan Belinkov and Alexander M. Rush},
journal= {arXiv preprint arXiv:2012.01300},
year = {2020}
}
备注
15 pages, 6 figures, 6 tables