从因果视角看（大）语言模型中的实体偏差
计算与语言
2023-10-30 v2 人工智能
机器学习
摘要
实体偏差广泛影响预训练（大）语言模型，导致它们依赖（有偏的）参数化知识做出不忠实的预测。尽管受因果启发的方法已显示出缓解实体偏差的巨大潜力，但在实践中很难精确估计底层因果模型的参数。黑盒 LLM 的兴起使情况更加恶化，因为其参数不可访问且 logits 未校准。为解决这些问题，我们提出了一种参数相对更易估计的特定结构化因果模型（SCM）。基于该 SCM，我们提出了针对白盒和黑盒设定的因果干预技术以缓解实体偏差。所提出的因果干预用相邻实体扰动原始实体。该干预减少了与原始实体相关的特定偏差信息，同时仍保留来自相似实体的充分语义信息。在白盒设定下，我们的训练时干预使 PLM 在关系抽取（RE）和机器阅读理解（MRC）上的分布外（OOD）性能分别提升 5.7 点和 9.1 点。在黑盒设定下，我们的上下文干预有效减少了 GPT-3.5 的基于实体的知识冲突，在 MRC 上实现最高 20.5 点的精确匹配准确率提升，在 RE 上实现最高 17.6 点的记忆率降低。我们的代码见 https://github.com/luka-group/Causal-View-of-Entity-Bias。
引用
@article{arxiv.2305.14695,
title = {A Causal View of Entity Bias in (Large) Language Models},
author = {Fei Wang and Wenjie Mo and Yiwei Wang and Wenxuan Zhou and Muhao Chen},
journal= {arXiv preprint arXiv:2305.14695},
year = {2023}
}
备注
Findings of EMNLP 2023