用于缓解自然语言推理数据集中数据偏置的多头注意力去偏和对比学习
计算与语言
2024-12-24 v1
摘要
尽管自然语言推理(NLI)模型在基准数据集上取得了高性能，但仍有疑虑它们是否真正捕捉了预期任务，或主要依赖数据集中的偏置模式。通过对斯坦福自然语言推理(SNLI)数据集进行详细分析，我们发现了各种类型的偏置及其相互作用的复杂模式，从而发展出我们的 novel 结构性去偏方法。我们对 9,782 条验证示例进行了细粒度分析，揭示了四类主要偏置：长度相关模式、词汇重叠、子集关系以及否定模式。我们的多头去偏架构在所有偏置类别上均实现了显著改进：长度偏置准确率从 86.03% 提升至 90.06%，词汇重叠偏置从 91.88% 提升至 93.13%，子集偏置从 95.43% 提升至 96.49%，否定偏置从 88.69% 提升至 94.64%。总体而言，我们的方法将错误率从 14.19% 降低至 10.42%，同时保持对无偏置示例的高性能。分析 1,026 条错误案例显示，我们在处理中性关系方面取得了显著改善，这传统上是 NLI 系统最具挑战性的领域之一。
引用
@article{arxiv.2412.16194,
title = {Multi-head attention debiasing and contrastive learning for mitigating Dataset Artifacts in Natural Language Inference},
author = {Karthik Sivakoti},
journal= {arXiv preprint arXiv:2412.16194},
year = {2024}
}