鲜有问题？语言模型在 few 类量词后的预测中表现出逆缩放现象
计算与语言
2023-05-29 v2 人工智能
机器学习
摘要
语言模型处理量化的能力如何？本研究聚焦于“few”类量词，如“few children like toys”，这类量词可能对语言模型构成特殊挑战，因为去掉量词后的句子成分很可能共现，且“few”类量词本身较为罕见。我们向 22 个规模各异的自回归 transformer 模型提供了来自两项人类神经语言学实验的 960 个英文句子刺激。所有模型不仅在“few”类量词上表现糟糕，而且总体上模型越大，性能越差。这种逆缩放现象与先前研究一致，即更大的模型日益反映在线而非离线的人类加工过程；我们认为，较大模型性能的下降可能对将语言模型作为自然语言系统基础的应用提出挑战。
引用
@article{arxiv.2212.08700,
title = {Rarely a problem? Language models exhibit inverse scaling in their predictions following few-type quantifiers},
author = {James A. Michaelov and Benjamin K. Bergen},
journal= {arXiv preprint arXiv:2212.08700},
year = {2023}
}
备注
Accepted to Findings of ACL 2023