更大的语言模型是否仍放大报告偏差？来自典型颜色判断的证据
计算与语言
2022-09-27 v1 人工智能
摘要
在原始文本上训练的语言模型（LM）无法直接访问物理世界。Gordon 与 Van Durme（2013）指出，LM 因此可能遭受报告偏差：文本很少报告常见事实，而是聚焦于情境的非寻常方面。若 LM 仅在文本语料上训练并朴素记忆局部共现统计，它们自然会学到对物理世界的偏倚认知。尽管先前研究已反复验证较小规模 LM（如 RoBERTa、GPT-2）会放大报告偏差，但此类趋势在模型规模扩大时是否延续仍属未知。我们从颜色视角在 PaLM、GPT-3 等较大语言模型（LLM）中考察报告偏差。具体地，我们查询 LLM 关于物体典型颜色的问题，这是一种简单类型的感知接地物理常识。令人惊讶的是，我们发现 LLM 在判定物体典型颜色上显著优于较小 LM，且更贴近人类判断，而非过拟合文本中存储的表面模式。这表明，仅依赖语言的极大型模型能够克服某些由局部共现刻画的报告偏差类型。
引用
@article{arxiv.2209.12786,
title = {Do ever larger octopi still amplify reporting biases? Evidence from judgments of typical colour},
author = {Fangyu Liu and Julian Martin Eisenschlos and Jeremy R. Cole and Nigel Collier},
journal= {arXiv preprint arXiv:2209.12786},
year = {2022}
}
备注
AACL 2022