AIR: 基于注意力头影响的推理后训练数据选择
计算与语言
2025-12-16 v1
摘要
大语言模型（LLMs）在多步推理方面取得了显著能力，但通过后训练蒸馏有效迁移这些技能仍然具有挑战性。现有数据选择方法从人工策划到基于长度、熵或总体损失的启发式方法，均无法捕捉单个推理步骤的因果重要性，限制了蒸馏效率。为此，我们提出 Attention Influence for Reasoning（AIR），一个基于检索头机制性洞察的、原则性的、无监督且无需训练的框架，用于选择高价值后训练数据。AIR 首先识别现成模型中推理关键的注意力头，然后构建一个禁用头影响的弱化参考模型，最后通过量化由此产生的损失散度来计算注意力影响分数。该分数支持在步骤级和样本级进行细粒度评估，支持步骤级加权微调和全局样本选择。在多个推理基准上的实验表明，AIR 一致提升了推理准确率，超越了启发式基线，并有效隔离了最关键的步骤和样本。我们的工作为 LLM 中的推理蒸馏建立了基于机制驱动的、数据高效的方法。
引用
@article{arxiv.2512.13279,
title = {AIR: Post-training Data Selection for Reasoning via Attention Head Influence},
author = {Jinrui Liu and Jeff Wu and Xuanguang Pan and Gavin Cheung and Shuai Ma and Chongyang Tao},
journal= {arXiv preprint arXiv:2512.13279},
year = {2025}
}
备注
19 pages