Constructive Circuit Amplification：通过针对性子网络更新提升 LLM 数学推理
计算与语言
2025-12-19 v1
摘要
先前研究探讨了 LLM 内部工作原理，发现稀疏子网络（常称为电路）负责执行特定任务。此外，已证明通过微调可提高模型性能，这种提升往往来自强化模型中现有电路的能力。综上，这些发现表明可能通过直接干预这些电路来进行精确、任务导向的更新。受这些发现启发，我们提出了一种新方法，称为 Constructive Circuit Amplification（建构性电路放大），该方法从模型推理�迹中识别关键 token 以及负责所需任务的模型组件，并仅更新这些组件。应用于数学推理，该方法在多个模型上提升了最高达 +11.4% 的准确率，仅修改 1.59% 的模型组件，同时对 MMLU、TriviaQA 和 TruthfulQA 等其他能力几乎没有影响。这些结果表明，通过选择性更新稀疏模型组件可可靠地增强特定能力。
引用
@article{arxiv.2512.16914,
title = {Constructive Circuit Amplification: Improving Math Reasoning in LLMs via Targeted Sub-Network Updates},
author = {Nikhil Prakash and Donghao Ren and Dominik Moritz and Yannick Assogba},
journal= {arXiv preprint arXiv:2512.16914},
year = {2025}
}
备注
18 pages, 3 figures