基于秩2子空间解�合的多步骤知识交互分析
计算与语言
2026-02-02 v2 人工智能
机器学习
摘要
自然语言解释(NLE)描述了大型语言模型(LLM)是如何通过依赖外部Context Knowledge(CK)和参数知识(PK)来做出决策的。理解这些来源之间的相互作用对于评估NLE grounding仍然是关键问题，但这些动力学在实际中鲜有探讨。以往的工作主要关注(1)单步骤生成和(2)将PK-CK相互作用建模为秩1子空间内的二元选择。这种方法忽略了更丰富的相互作用以及它们如何在更长的生成过程中展开，例如互补或支持性知识。我们提出了一种新型的秩2投影子空间，用于更准确地解�合PK和CK的贡献，并用于首次对知识在更长的NLE序列中的交互进行多步骤分析。在四个问答数据集和三个开源LLM上的实验表明，尽管秩1子空间难以代表多样化的相互作用，但我们的秩2表述能够有效捕捉这些相互作用，突显针对支持性相互作用的PK对齐以及针对冲突性相互作用的CK对齐。我们的多步骤分析揭示了等候幻觉生成表现出强烈的PK方向对齐，而情境忠实的生成则在PK和CK之间保持更均衡的对齐。
引用
@article{arxiv.2511.01706,
title = {Multi-Step Knowledge Interaction Analysis via Rank-2 Subspace Disentanglement},
author = {Sekh Mainul Islam and Pepa Atanasova and Isabelle Augenstein},
journal= {arXiv preprint arXiv:2511.01706},
year = {2026}
}
备注
Under review