受脑启发的功能网络与大型语言模型关键神经元探索
神经元与认知
2026-01-08 v2 人工智能
计算与语言
机器学习
摘要
近年来，大型语言模型（LLMs）在自然语言处理领域的快速发展，激发了研究者对其机制和功能特性的浓厚兴趣。尽管先前的研究试图通过识别和解释特定神经元来阐明LLM功能，但这些工作大多聚焦于单个神经元的贡献，忽略了人脑功能是通过复杂的交互网络实现的事实。受神经科学领域功能性脑网络（FBNs）研究的启发，本研究利用FBN分析中建立的类似方法，探索LLM内部的“功能网络”。实验结果表明，与人脑类似，LLM在其运行过程中会反复出现某些功能网络。进一步研究发现，这些功能网络对LLM的性能不可或缺。抑制关键功能网络会严重损害模型能力。相反，增强这些网络内神经元的活性可以提升模型的整体性能或其在特定任务上的表现。这表明这些功能网络与特定任务或LLM的整体性能密切相关。代码可在 https://github.com/WhatAboutMyStar/LLM_ACTIVATION 获取。
引用
@article{arxiv.2502.20408,
title = {Brain-Inspired Exploration of Functional Networks and Key Neurons in Large Language Models},
author = {Yiheng Liu and Zhengliang Liu and Zihao Wu and Junhao Ning and Haiyang Sun and Sichen Xia and Yang Yang and Xiaohui Gao and Ning Qiang and Bao Ge and Tianming Liu and Junwei Han and Xintao Hu},
journal= {arXiv preprint arXiv:2502.20408},
year = {2026}
}
备注
21 pages, 18 figures