注意权衡：在不降低分布内性能的前提下去偏 NLU 模型
计算与语言
2020-05-04 v1
摘要
用于自然语言理解（NLU）任务的模型常常依赖数据集的特异性偏差，这使得它们对训练分布之外的测试用例十分脆弱。近来，若干提出的去偏方法被证明在提升分布外性能方面非常有效。然而，其改进是以在分布内数据（包含多样性更高的样本）上评估时模型性能下降为代价的。这种看似不可避免的权衡，或许无法告诉我们所得模型在超出分布外数据所代表的小子集的更宽泛类型样本上的推理与理解能力变化。本文通过引入一种称为置信度正则化的新颖去偏方法来应对该权衡，它阻止模型利用偏差，同时使其有足够激励从所有训练样本中学习。我们在三个 NLU 任务上评估了该方法，并表明与其前身相比，它在分布外数据集上提升了性能（例如，在 HANS 数据集上获得 7pp 增益），同时保持了原始的分布内准确率。
引用
@article{arxiv.2005.00315,
title = {Mind the Trade-off: Debiasing NLU Models without Degrading the In-distribution Performance},
author = {Prasetya Ajie Utama and Nafise Sadat Moosavi and Iryna Gurevych},
journal= {arXiv preprint arXiv:2005.00315},
year = {2020}
}
备注
to appear at ACL 2020