LLM 中的层级召回及交织知识的几何结构
计算与语言
2025-07-22 v2 人工智能
机器学习
摘要
本研究探索了大型语言模型 (LLM) 如何编码交织的科学知识，选取化学元素与 LLaMA 系列模型作为案例。我们在隐藏状态中识别出一种 3 维螺旋结构，该结构与周期表的概念结构相吻合，表明 LLM 能够反映科学概念从文本中学习到的几何组织方式。线性探针揭示，中间层编码连续、重叠的属性，使其能够实现间接召回，而更深层的层次则加强类别区分并融合语言语境。这些发现表明，LLM 将符号知识表示为非孤立事实，而是相互交织的结构化几何流形。我们希望本工作能激发进一步探索 LLM 如何表示和推理科学知识的兴趣，尤其是在材料科学等领域。
引用
@article{arxiv.2502.10871,
title = {Layerwise Recall and the Geometry of Interwoven Knowledge in LLMs},
author = {Ge Lei and Samuel J. Cooper},
journal= {arXiv preprint arXiv:2502.10871},
year = {2025}
}