“你被锚定了！”：预训练语言模型中的潜在姓名伪影
计算与语言
2020-09-17 v2
摘要
预训练语言模型（LMs）可能将源自其训练语料的偏见传递给下游模型。我们关注与给定名字（如 Donald）表征相关的伪影，这些名字依语料不同可能与特定实体相关联，如下一词预测所示（如 Trump）。尽管在某些情境中有用，锚定（grounding）也会发生在未充分指定或不恰当的语境中。例如，为“Donald is a”生成的结尾与其他名字的结尾显著不同，且常具有高于平均水平的负面情感。我们通过阅读理解探测展示姓名扰动改变模型答案的潜在下游任务影响。作为一线希望，我们的实验表明在不同语料上的额外预训练可缓解此偏见。
引用
@article{arxiv.2004.03012,
title = {"You are grounded!": Latent Name Artifacts in Pre-trained Language Models},
author = {Vered Shwartz and Rachel Rudinger and Oyvind Tafjord},
journal= {arXiv preprint arXiv:2004.03012},
year = {2020}
}
备注
EMNLP 2020