约翰因为他而赞扬玛丽？预训练语言模型中的隐式因果偏向及其与显式线索的交互
计算与语言
2021-06-03 v1
摘要
某些人际动词可将其因果关系隐式地归于其主语或宾语，因此被称为带有隐式因果（IC）偏向。通过这一偏向，可从叙事中推断因果联系，辅助语言理解。我们研究预训练语言模型（PLMs）是否编码 IC 偏向并在推理时使用它。我们发现对于三种不同的 PLM 架构，情况确实如此，尽管程度不同。然而，原因并非总是隐式的——当原因在从句中显式陈述时，与主句动词相关的不一致 IC 偏向会导致人类加工延迟。我们假设，人类在整合两个矛盾信号（一个来自动词的词汇语义，一个来自句子级语义）时面临的暂时困难，将反映于依赖因果联系的模型任务上更高的错误率。我们的研究结果支持这一假设，表明 PLMs 倾向于优先考虑词汇模式而非高阶信号。
引用
@article{arxiv.2106.01060,
title = {John praised Mary because he? Implicit Causality Bias and Its Interaction with Explicit Cues in LMs},
author = {Yova Kementchedjhieva and Mark Anderson and Anders Søgaard},
journal= {arXiv preprint arXiv:2106.01060},
year = {2021}
}
备注
To appear at Findings of ACL 2021