信息性与不变性：自然语言伪相关关系的两种视角
计算与语言
2022-05-05 v2 机器学习
摘要
伪相关关系对自然语言处理系统的可信度构成威胁，推动了识别与消除它们的方法研究。然而，解决伪相关关系问题需要更清晰地界定其本质及在语言数据中如何产生。Gardner 等人 (2021) 认为，语言的组合性意味着标签与个体“输入特征”之间的所有相关关系都是伪相关关系。本文在一个玩具示例背景下分析该主张，展示了在简单 PCFG 中可产生特征-标签相关关系的三种不同条件。将玩具示例联系到结构化因果模型表明：(1) 即使标签对特征的干预不变，特征-标签相关关系仍可能产生；(2) 即使标签对特征的干预敏感，特征-标签相关关系也可能缺失。由于在除极罕见情况外的所有情形下输入特征都会与标签个体相关，必须应用领域知识来识别构成真正鲁棒性威胁的伪相关关系。
引用
@article{arxiv.2204.04487,
title = {Informativeness and Invariance: Two Perspectives on Spurious Correlations in Natural Language},
author = {Jacob Eisenstein},
journal= {arXiv preprint arXiv:2204.04487},
year = {2022}
}
备注
NAACL 2022