语言物理学：第 2.1 部分，小学数学与隐式推理过程
人工智能
2024-07-31 v1 计算与语言
机器学习
摘要
近期语言模型进展表明其在解决数学推理问题方面具有能力，在小学水平数学基准（如 GSM8K）上实现近乎完美的准确率。本文我们正式研究语言模型如何解决这些问题。我们设计了一系列受控实验以回答几个根本性问题：(1) 语言模型是否真正发展出推理技能，还是仅仅记忆了模板？(2) 模型的隐藏（心理）推理过程是什么？(3) 模型是否使用类似或不同于人类的技能来解答数学问题？(4) 在 GSM8K 类数据集上训练的模型是否发展出超越解决 GSM8K 问题所需技能的推理能力？(5) 什么心理过程导致模型出现推理错误？(6) 模型需要多大或多深才能有效地解决 GSM8K 级别的数学问题？我们的研究揭示了许多语言模型解决数学问题的隐藏机制，提供的见解超越了当前对 LLM 的理解。
引用
@article{arxiv.2407.20311,
title = {Physics of Language Models: Part 2.1, Grade-School Math and the Hidden Reasoning Process},
author = {Tian Ye and Zicheng Xu and Yuanzhi Li and Zeyuan Allen-Zhu},
journal= {arXiv preprint arXiv:2407.20311},
year = {2024}
}
备注
video appeared in ICML 2024 tutorial