数据集偏差的对抗式过滤
机器学习
2020-07-14 v3 人工智能
计算与语言
机器学习
摘要
大型神经模型在语言和视觉基准上已展现出人类水平的性能，而在对抗样本或分布外样本上其性能显著下降。这引发了一个问题：这些模型是否通过过拟合虚假的数据集偏差而学会了解决某个数据集而非底层任务。我们研究了最近提出的一种方法 AFLite，它对抗式地过滤此类数据集偏差，作为缓解普遍存在的机器性能高估的一种手段。我们通过将 AFLite 置于最优偏差约简的广义框架中，为其提供了理论理解。我们给出了大量支持性证据，表明 AFLite 可广泛适用于可度量数据集偏差的约简，且在过滤后数据集上训练的模型对分布外任务具有更好的泛化能力。最后，过滤导致模型性能大幅下降（例如 SNLI 上从 92% 降至 62%），而人类性能仍保持高位。因此，我们的工作表明，此类过滤后的数据集可作为升级版基准，为鲁棒泛化提出新的研究挑战。
引用
@article{arxiv.2002.04108,
title = {Adversarial Filters of Dataset Biases},
author = {Ronan Le Bras and Swabha Swayamdipta and Chandra Bhagavatula and Rowan Zellers and Matthew E. Peters and Ashish Sabharwal and Yejin Choi},
journal= {arXiv preprint arXiv:2002.04108},
year = {2020}
}
备注
Accepted to ICML 2020