语言模型是多语言思维链推理器
计算与语言
2022-10-07 v1 人工智能
机器学习
摘要
我们评估了大型语言模型在多语言环境下的推理能力。我们引入了多语言小学数学（MGSM）基准，将 GSM8K 数据集（Cobbe et al., 2021）中的 250 道小学算术题手动翻译为十种类型学上多样的语言。我们发现，通过思维链提示（chain-of-thought prompting）解决 MGSM 问题的能力随模型规模增大而涌现，并且模型具有惊人的强多语言推理能力，即使在孟加拉语和斯瓦希里语等代表性不足的语言中也是如此。最后，我们展示了语言模型的多语言推理能力可扩展到常识推理和上下文词义判断等其他任务。MGSM 基准公开于 https://github.com/google-research/url-nlp。
引用
@article{arxiv.2210.03057,
title = {Language Models are Multilingual Chain-of-Thought Reasoners},
author = {Freda Shi and Mirac Suzgun and Markus Freitag and Xuezhi Wang and Suraj Srivats and Soroush Vosoughi and Hyung Won Chung and Yi Tay and Sebastian Ruder and Denny Zhou and Dipanjan Das and Jason Wei},
journal= {arXiv preprint arXiv:2210.03057},
year = {2022}
}