特征级去偏的自然语言理解
计算与语言
2023-01-05 v3
摘要
自然语言理解（NLU）模型常依赖数据集偏差而非预期的任务相关特征，以在特定数据集上取得高性能。因此，这些模型在训练分布之外的数据集上表现不佳。一些近期研究通过在训练过程中降低有偏样本权重来解决此问题。然而，这些方法仍在表示中编码了有偏潜在特征，且忽视了偏差的动态性，从而阻碍模型预测。我们提出一种名为去偏对比学习（DCT）的NLU去偏方法，基于对比学习同时缓解上述问题。我们设计了一种去偏正采样策略，通过选择最不相似的有偏正样本来减轻有偏潜在特征。我们还提出一种动态负采样策略，利用仅偏差模型动态选择最相似的有偏负样本，以捕捉偏差的动态影响。我们在三个NLU基准数据集上开展实验。实验结果表明，DCT在分布外数据集上优于SOTA基线，同时保持了分布内性能。我们还验证了DCT能减少模型表示中的有偏潜在特征。
引用
@article{arxiv.2212.05421,
title = {Feature-Level Debiased Natural Language Understanding},
author = {Yougang Lyu and Piji Li and Yechang Yang and Maarten de Rijke and Pengjie Ren and Yukun Zhao and Dawei Yin and Zhaochun Ren},
journal= {arXiv preprint arXiv:2212.05421},
year = {2023}
}
备注
Accepted by AAAI2023