结合特征与样本归因以检测数据伪影
计算与语言
2022-03-29 v2 机器学习
摘要
训练主导自然语言处理（NLP）的深度神经网络需要大型数据集。这些数据集常通过自动收集或众包获得，并可能呈现系统性偏差或标注伪影。我们所称的标注伪影，是指输入与输出之间不代表特征与类别间普遍因果关系的虚假相关性；利用此类相关性的模型可能看似在给定任务上表现良好，却在分布外数据上失效。本文评估了不同归因方法在辅助识别训练数据伪影中的用途。我们提出结合显著图（高亮重要输入特征）与样本归因方法（检索对给定预测有影响的训练样本）的新型混合方法。我们表明，在存在具有挑战性的验证集时，所提出的训练-特征归因可用于高效揭示训练数据中的伪影。我们还开展了一项小型用户研究，以评估这些方法在实践中对NLP研究者是否有用，结果令人鼓舞。我们公开了本文所有方法与实验的代码。
引用
@article{arxiv.2107.00323,
title = {Combining Feature and Instance Attribution to Detect Artifacts},
author = {Pouya Pezeshkpour and Sarthak Jain and Sameer Singh and Byron C. Wallace},
journal= {arXiv preprint arXiv:2107.00323},
year = {2022}
}
备注
ACL Findings 2022