大语言模型是否会做减法？

我们进行了关于大语言模型（LLM）中减法的系统性研究。尽管先前基准测试侧重于加法和乘法，但减法相对被忽视，尽管其结构上与前者不同（为非交换运算）。我们对八个预训练LLM（跨越四个家族）进行加法与减法问题的评估。我们的实验显示，减法准确率远低于加法。我们发现，($a-b$)的错误集中于($a<b$)的情况。在此情况下，LLM经常产生正确的幅度但遗漏负号。探针分析表明，LLM在内部编码结果是否应为负，但这一信息往往未体现在生成输出中。我们进一步测试了诸如few-shot学习和指令微调等著名技术，看它们是否能提高LLM的性能。我们的结果表明，虽然few-shot提示仅带来有限的提升，但经过指令微调的模型在生成负号方面几乎能达到完美准确率。总之，这些发现为更清晰地表征LLM算术能力在减法上的局限性与可恢复性提供了依据。