破解事实知识：大型语言模型中简并知识神经元的全面分析
计算与语言
2024-06-18 v2 人工智能
摘要
大型语言模型（LLM）存储了大量事实知识，但其底层机制仍不清楚。先前的研究表明，事实知识存储在多层感知机权重中，并且某些存储单元表现出简并性，被称为简并知识神经元（DKN）。尽管这一概念具有新颖性和独特性质，但它尚未得到严格的定义或系统的研究。我们首先考虑 MLP 神经元的连接权重模式，并从结构和功能两个方面定义了 DKN。在此基础上，我们引入了神经拓扑聚类方法，允许任意数量和结构的 DKN 形成，从而实现更准确的 DKN 获取。此外，受认知科学启发，我们探索了 DKN 与 LLM 的鲁棒性、可进化性和复杂性之间的关系。我们在 6 种设定下执行的 34 项实验证明了 DKN 与这三个属性之间的联系。代码即将提供。
引用
@article{arxiv.2402.13731,
title = {Cracking Factual Knowledge: A Comprehensive Analysis of Degenerate Knowledge Neurons in Large Language Models},
author = {Yuheng Chen and Pengfei Cao and Yubo Chen and Yining Wang and Shengping Liu and Kang Liu and Jun Zhao},
journal= {arXiv preprint arXiv:2402.13731},
year = {2024}
}