数值精度如何影响大语言模型的算术推理能力

尽管基于Transformer的大语言模型（LLMs）在各个领域取得了显著成功，但理解和增强其数学能力仍然是一个重大挑战。在本文中，我们对LLMs的数学能力进行了严格的理论分析，特别关注其算术性能。我们确定数值精度是影响其在算术任务中有效性的关键因素。我们的结果表明，以低数值精度运行的Transformer无法处理算术任务，例如迭代加法和整数乘法，除非模型大小相对于输入长度以超多项式方式增长。相比之下，具有标准数值精度的Transformer可以以显著更小的模型大小高效处理这些任务。我们通过实证实验进一步支持了我们的理论发现，这些实验探索了不同数值精度对算术任务的影响，为改进LLMs的数学推理能力提供了宝贵的见解。