通过前提移除干预探索基于大语言模型的细粒度物理推理极限

语言模型在执行复杂数学推理时可能会产生幻觉。物理学为评估其数学能力提供了一个丰富的领域，其中物理背景要求任何符号操作都满足复杂的语义（例如，单位、张量阶数）。在这项工作中，我们系统地从提示中移除关键背景，以强制产生模型推理在代数上连贯但不符合物理的实例。我们使用一个涵盖多种符号和物理子领域的精选数据集来评估语言模型在该领域的能力。此外，我们利用合成的上下文示例提高了零样本得分，并通过逐步省略支持性前提，证明了推导质量随扰动强度呈非线性退化。我们发现，在此设定下，模型的数学推理并非基于物理信息，物理背景在很大程度上被忽略，转而倾向于逆向工程求解。