通过知识神经元揭示大型语言模型的事实记忆行为
计算与语言
2024-10-02 v3 人工智能
摘要
本文探讨了大型语言模型(LLMs)在面对推理任务时是否主动调用或检索其内部事实知识库。通过分析 LLMs 在推理每个步骤中内部事实记忆的行为，我们揭示了 LLMs 在某些情况下未能利用关键事实关联，而倾向于选择替代性、捷径式的路径来回答推理问题。通过手动操控 LLMs 中参数知识的记忆过程，我们演示了增强此记忆过程直接改善了推理性能，而抑制它则导致显著的性能下降。此外，我们评估了链式思维(CoT) prompting 的作用，这是一种强大的解决复杂推理任务的技术。我们的发现表明，CoT 可以通过鼓励 LLMs 进行有序且可靠的推理来加强事实知识的记忆。进一步，我们探索了情境冲突如何影响推理过程中事实的检索，以全面理解 LLMs 的事实记忆行为。代码和数据将很快公开。
引用
@article{arxiv.2408.03247,
title = {Unveiling Factual Recall Behaviors of Large Language Models through Knowledge Neurons},
author = {Yifei Wang and Yuheng Chen and Wanting Wen and Yu Sheng and Linjing Li and Daniel Dajun Zeng},
journal= {arXiv preprint arXiv:2408.03247},
year = {2024}
}