文本蕴含数据集中的偏差研究
计算与语言
2019-06-25 v1 机器学习
摘要
理解句子间逻辑关系的能力是语言理解中的一项重要任务。为推动该任务的进展，研究者已收集了用于机器学习及当前系统评估的数据集。然而，如同众包的视觉问答（VQA）任务一样，数据中不可避免地会出现某些偏差。在我们的实验中，我们发现仅在 SNLI 数据集上对假设进行分类即可达到 64% 的准确率。我们分析了 SNLI 和 MultiNLI 数据集中的偏差程度，讨论了其影响，并提出了一种简单的方法来减少数据集中的偏差。
引用
@article{arxiv.1906.09635,
title = {Investigating Biases in Textual Entailment Datasets},
author = {Shawn Tan and Yikang Shen and Chin-wei Huang and Aaron Courville},
journal= {arXiv preprint arXiv:1906.09635},
year = {2019}
}