扩充 NLP 数据以对抗 NLI 任务中的标注伪迹
计算与语言
2023-02-10 v1 机器学习
摘要
在本文中，我们探讨标注伪迹（Annotation Artifacts）——即大型预训练 NLP 模型在基准数据集上取得高性能，但实际上并未“解决”底层任务，而是依赖某些数据集伪迹（在训练、验证和测试集上相同）来找出正确答案的现象。我们在知名的自然语言推理（Natural Language Inference）任务上探讨该现象，首先使用对比样本和对抗样本来理解模型性能的局限性，并展示由标注伪迹（标注者构建训练数据的方式）引起的偏置之一。然后我们提出一种数据扩充技术来修正该偏置并衡量其有效性。
引用
@article{arxiv.2302.04700,
title = {Augmenting NLP data to counter Annotation Artifacts for NLI Tasks},
author = {Armaan Singh Bhullar},
journal= {arXiv preprint arXiv:2302.04700},
year = {2023}
}
备注
Submitted as part of NLP Research Project Gregg Durett of the University of Texas at Austin