自然语言中的伪特征是否一概相同？基于因果视角的分析
计算与语言
2022-10-26 v1 机器学习
摘要
“伪相关”一词在自然语言处理（NLP）中被非正式地用来指代任何不期望的特征-标签相关。然而，一种相关之所以不期望，可能是因为（i）该特征与标签无关（如评论中的标点），或（ii）该特征对标签的作用依赖于上下文（如评论中的否定词），这在语言任务中十分普遍。在情形（i）中，我们希望模型对该特征保持不变性，该特征对预测既非必要也非充分。但在情形（ii）中，即便是理想模型（如人类）也必须依赖该特征，因为它对预测是必要的（但非充分的）。因此，需要对伪特征进行更细粒度的处理以明确期望的模型行为。我们使用因果模型以及必要性与充分性概率形式化了这一区分，从而刻画特征与标签之间的因果关系。随后我们表明，这一区分有助于解释现有去偏方法在不同伪特征上的结果，并揭开了诸如去偏后模型表示中仍编码伪特征等令人惊讶的结果之谜。
引用
@article{arxiv.2210.14011,
title = {Are All Spurious Features in Natural Language Alike? An Analysis through a Causal Lens},
author = {Nitish Joshi and Xiang Pan and He He},
journal= {arXiv preprint arXiv:2210.14011},
year = {2022}
}
备注
EMNLP 2022