ZeroTuning：通过无需训练激发初始标记在大语言模型中的潜能
摘要
基于标记级别注意力调校的一类无训练方法，包括后验注意力引导（Post-hoc Attention Steering, PASTA）和注意力校准（Attention Calibration, ACT），已成为通过可解释干预来提高冻结型大语言模型性能的有前景的方法。然而，这些方法依赖辅助启发式方法来识别特定任务的重要标记，可能引入偏见，并在标记重要性模糊或优化内核使注意力图不可访问时限制其适用性。我们提出一种更简单的方法：仅干预初始标记（例如LLaMA中的BOS）。我们理论上展示，通过为该标记的注意力逻辑添加轻量偏置，可系统性地偏移并重塑下游注意力模式——这种效果因其作为注意力汇点（attention sink）的天然角色而被放大。实验上，我们发现，这种调校能够提高LLM性能并更好地激发预训练知识，效果在早期层中更显著，且在不同注意力头之间存在不同的扩展偏好。基于这些发现，我们引入ZeroTuning，这是一种无需参数更新的训练-free方法，通过对初始标记应用特定注意力头的调整，提高LLM性能。我们提供两种变体：一种是基于验证样本校准的监督模式，另一种是直接最小化输出熵的无监督模式。ZeroTuning无需KV缓存或解码变更，且对内核agnostic（兼容SDPA和FlashAttention）。仅需对标准LlamaAttention代码进行四行修改，即可在15个数据集上实现性能提升，并超过先前更复杂的方法。例如，在Llama-3.1-8B上，分类任务提升19.9%，问答任务提升4.5%，对话任务提升2.1%。ZeroTuning也能即插即用地与量化推理配合，并在上下文长度增加时维持其改进。
关键词
引用
@article{arxiv.2505.11739,
title = {ZeroTuning: Unlocking the Initial Token's Power to Enhance Large Language Models Without Training},
author = {Feijiang Han and Xiaodong Yu and Jianheng Tang and Delip Rao and Weihua Du and Lyle Ungar},
journal= {arXiv preprint arXiv:2505.11739},
year = {2026}
}
备注
ICLR 2026 Accepted Version: proofread, introduction rewritten, additional experiments and appendix material added