模型自指注意力：忠实性与自动注意力引导的交汇

大型语言模型（LLM）在各种实际任务中展现出了卓越的性能。然而，它们往往难以完全理解并有效利用其输入上下文，导致生成不忠实或幻觉的回答。当上下文过长或包含干扰信息时，这种困难会加剧，因为这会使 LLM 偏离对关键证据的完整捕获。为了解决这一问题，许多研究使用提示来帮助 LLM 更忠实地利用上下文信息。例如，迭代提示分两步突出关键信息：首先要求 LLM 识别上下文中的重要片段，然后据此推导答案。然而，提示方法仅限于在词元空间中隐式地突出关键信息，这通常不足以完全引导模型的注意力。为了更可靠地提升模型忠实性，我们提出了 AutoPASTA，这是一种自动识别关键上下文信息并通过引导 LLM 的注意力分数来显式突出这些信息的方法。与提示一样，AutoPASTA 在推理时应用，且不需要更改任何模型参数。我们在开放书籍问答上的实验表明，AutoPASTA 能有效使模型掌握关键上下文信息，从而显著提升模型的忠实性与性能，例如，LLAMA3-70B-Instruct 平均提升了 7.95%。代码将公开于 https://github.com/QingruZhang/AutoPASTA 。