数值推理的几何学：语言模型在线性子空间中比较数值属性
计算与语言
2025-02-11 v2
摘要
本文探讨了大语言模型（LLM）在回答涉及数值比较问题时（例如，Cristiano出生是否在Messi之前）是否利用嵌入空间中低维子空间中编码的数值属性。我们首先使用偏最小二乘回归识别这些子空间，有效地编码了与比较提示中实体相关的数值属性。进一步，我们通过干扰这些子空间来操控隐藏状态，从而改变LLM的比较结果。在三个不同的LLM上进行的实验表明，我们的结果适用于各种数值属性，表明LLM利用线性编码的信息进行数值推理。
引用
@article{arxiv.2410.13194,
title = {The Geometry of Numerical Reasoning: Language Models Compare Numeric Properties in Linear Subspaces},
author = {Ahmed Oumar El-Shangiti and Tatsuya Hiraoka and Hilal AlQuabeh and Benjamin Heinzerling and Kentaro Inui},
journal= {arXiv preprint arXiv:2410.13194},
year = {2025}
}