基于神经元激活图的目标导向预训练数据选择
计算与语言
2026-04-20 v1
摘要
日常任务都带有目标，围绕此目标预训练模型是使其成为专家的关键。本文通过引入神经元激活图排序（NAG-based Ranking）来研究目标导向的语言模型（LM）预训练，这是一种无需训练且可解释的目标预训练数据选择框架。我们的方法并非使用黑盒表示，而是通过任何现成的大语言模型（LLM）中的一组稀疏高影响力神经元来直接表征每个目标输入。具体来说，我们量化神经元影响力，并跨层选择最具影响力的神经元构建成一个紧凑的神经元激活图（NAG），然后根据候选数据与目标示例的NAG相似度进行排序。我们在六个基准上进行了实验，结果表明，我们的NAG排序方法在目标导向预训练上平均比随机采样提高了4.9%，在HellaSwag上准确率比最先进的基线高出5.3%。在更实用的多目标设置下，它同样有效，我们的最佳设置分别比两个基线高出1.1%和4.1%。此外，我们全面分析了NAG为何以及如何起作用，例如，停用NAG选定的神经元（仅占全部的0.12%）会导致23.5%的性能崩溃，而将NAG限制在最后一层则导致平均4.1%的下降，这表明NAG捕获了一个用于学习目标特征的稀疏“功能骨干”。我们在https://github.com/asillycat/NAG发布了代码。
引用
@article{arxiv.2604.15706,
title = {Target-Oriented Pretraining Data Selection via Neuron-Activated Graph},
author = {Zijun Wang and Haoqin Tu and Weidong Zhou and Yiyang Zhou and Xiaohuan Zhou and Bingni Zhang and Weiguo Feng and Taifeng Wang and Cihang Xie and Fengze Liu},
journal= {arXiv preprint arXiv:2604.15706},
year = {2026}
}