用语言模型求解定量推理问题
计算与语言
2022-07-04 v2 人工智能
机器学习
摘要
语言模型在大量需要自然语言理解的任务上取得了卓越表现。然而,最先进的模型在需要定量推理的任务上普遍表现不佳,例如解答大学水平的数学、科学和工程问题。为助力弥补这一差距,我们引入了 Minerva,一个在通用自然语言数据上预训练并进一步在技术内容上训练的大语言模型(large language model, LLM)。该模型无需使用外部工具即在技术基准上取得了最先进(state-of-the-art, SOTA)性能。我们还在两百多道需要定量推理的物理学、生物学、化学、经济学及其他科学本科水平问题上评估了我们的模型,发现该模型能正确回答其中近三分之一的问题。
引用
@article{arxiv.2206.14858,
title = {Solving Quantitative Reasoning Problems with Language Models},
author = {Aitor Lewkowycz and Anders Andreassen and David Dohan and Ethan Dyer and Henryk Michalewski and Vinay Ramasesh and Ambrose Slone and Cem Anil and Imanol Schlag and Theo Gutman-Solo and Yuhuai Wu and Behnam Neyshabur and Guy Gur-Ari and Vedant Misra},
journal= {arXiv preprint arXiv:2206.14858},
year = {2022}
}
备注
12 pages, 5 figures + references and appendices