使用多语言数字拼图探讨语言模型中语言与数学推理的相互作用

在不同语言中，数字系统在构建和组合数字方面差异很大。虽然人类始终能够熟练地应对这种多样性，但大型语言模型（LLM）在涉及跨语言数字系统的语言-数学拼图方面仍感到困难，这类问题人类可以成功学习解决。我们通过一系列实验探讨了LLM为何在此类任务中感到困难，这些实验剥离了语言和数学方面的数字。我们的实验表明，除非数学运算在问题中使用已知符号（如“twenty + three”中使用的$+$、$\times$等），模型才不能稳定地解决此类问题。在进一步的消融研究中，我们探讨了数字构造和组合的各个参数如何影响性能。虽然人类利用其对数字的语言理解来推断数字隐式构成结构，但LLM似乎缺乏这种对隐式数字结构的概念。我们得出结论，能够灵活从人类规模数据中的隐式模式中推断构成规则的能力，仍是当前推理模型面临的挑战。