语言模型物理学：第3.2部分，知识操控
计算与语言
2024-07-17 v2 人工智能
机器学习
摘要
语言模型能够存储海量事实性知识，但其灵活运用这些知识完成下游任务（例如通过指令微调）的能力仍存疑。本文研究了四项基本知识操控任务：检索（如“人物A的属性X是什么？”）、分类（如“A的属性X是偶数还是奇数？”）、比较（如“在属性X上A是否大于B？”）以及逆搜索（如“哪个人的属性X等于T？”）。我们表明，语言模型擅长知识检索，但即便是最简单的分类或比较任务也表现不佳，除非在训练与推理阶段均使用思维链（CoTs）。此外，无论采用何种提示，其在逆知识搜索中的性能几乎为0%。我们的主要贡献是一项受控的合成实验，证实了这些缺陷是语言模型固有的：它们无法高效操控来自预训练数据的知识，即便该知识已被完美存储于模型中，且经过了充分训练并具备足够模型规模。我们的发现同样适用于GPT-4等现代预训练语言模型，从而催生出许多用于区分人类与当代人工智能的图灵测试。
引用
@article{arxiv.2309.14402,
title = {Physics of Language Models: Part 3.2, Knowledge Manipulation},
author = {Zeyuan Allen-Zhu and Yuanzhi Li},
journal= {arXiv preprint arXiv:2309.14402},
year = {2024}
}
备注
V2 polishes writing and includes additional Llama/Mistral experiments and larger data; but the conclusions remain unchanged