能力局部化：能力可以被局部化而非个体知识
计算与语言
2025-03-03 v1
摘要
大规模语言模型在自然语言处理相关任务中取得了优异的性能，然而，模型参数如何影响性能提升仍不清楚。先前的研究假设个体知识存储在局部参数中，且个体知识的存储形式为分散的参数、参数层或参数链，这些形式并不统一。我们通过保真度和可靠性评估实验发现，个体知识无法被局部化。随后，我们构建了一个用于解耦实验的数据集，并发现了局部化数据共性的潜力。为了进一步揭示这一现象，本文提出了一种共性神经元局部化（Commonality Neuron Localization, CNL）方法，该方法成功定位了共性神经元，并在 GSM8K 数据集上实现了 96.42% 的神经元重叠率。最后，我们通过跨数据实验证明，共性神经元是具备提升性能能力的神经元的集合。我们的代码可在 https://github.com/nlpkeg/Capability-Neuron-Localization 获取。
引用
@article{arxiv.2502.20992,
title = {Capability Localization: Capabilities Can be Localized rather than Individual Knowledge},
author = {Xiusheng Huang and Jiaxiang Liu and Yequan Wang and Jun Zhao and Kang Liu},
journal= {arXiv preprint arXiv:2502.20992},
year = {2025}
}