NUMCoT：大型语言模型思维链推理中的数字和计量单位

数字系统和计量单位是人类活动中的两个关联主题，并且与表达它们的语言相互影响。目前，大型语言模型（LLM）的评估通常涉及数学推理，但很少关注数字或单位的微小变化如何能极大地改变问题的复杂性和LLM的性能。在本文中，我们通过构建带扰动的数据集来审视现有LLM在处理数字和计量单位方面的表现。我们首先将数学应用题推理分解为不同的子过程，如从语言到数字的数字转换和基于单位的计量转换。然后，我们进一步标注了来自中国古代算术著作的数学应用题，这些题目在数字和计量单位方面具有挑战性。在扰动数据集上的实验表明，LLM在处理数字和计量转换方面仍然存在困难。