揭示指令特异性神经元与专家：大语言模型指令遵循能力的分析框架
计算与语言
2025-05-28 v1 机器学习
摘要
大语言模型（LLM）的微调显著提升了其指令遵循能力，然而驱动这些改进的底层计算机制仍知之甚少。本研究通过分离和分析指令特异性的稀疏组件，即稠密模型中的神经元以及混合专家（MoE）架构中的神经元和专家，系统地考察了微调如何重新配置 LLM 的计算。具体而言，我们引入了 HexaInst，一个精心策划且平衡的、涵盖六个不同类别的指令数据集，并提出了 SPARCOM，一个包含三项关键贡献的新颖分析框架：（1）一种识别这些稀疏组件的方法，（2）对其功能通用性和独特性的评估，以及（3）对其变化的系统比较。通过实验，我们展示了这些组件的功能通用性、独特性及其在指令执行中的关键作用。通过阐明微调诱导的适应与稀疏计算基底之间的关系，本工作为可信 LLM 社区深入理解 LLM 如何内化指令遵循行为提供了见解。
引用
@article{arxiv.2505.21191,
title = {Unveiling Instruction-Specific Neurons & Experts: An Analytical Framework for LLM's Instruction-Following Capabilities},
author = {Junyan Zhang and Yubo Gao and Yibo Yan and Jungang Li and Zhaorui Hou and Sicheng Tao and Shuliang Liu and Song Dai and Yonghua Hei and Junzhuo Li and Xuming Hu},
journal= {arXiv preprint arXiv:2505.21191},
year = {2025}
}