FROST：基于注意力过滤推理离群值以实现高效推理
计算与语言
2026-02-25 v2 人工智能
机器学习
摘要
我们提出FROST，一种用于高效推理的注意力感知方法。不同于传统方法，FROST利用注意力权重修剪不关键的推理路径，从而产生更短更可靠的推理轨迹。方法上，我们引入推理离群概念，设计注意力机制以去除其中的离群值。理论上，FROST在消除句子层面的离群值的同时，保留并提升模型的推理能力。经验上，我们在四个基准测试上验证了FROST，使用两种强大的推理模型（Phi-4-Reasoning和GPT-OSS-20B），超越了TALE和ThinkLess等最先进的方法。值得注意的是，FROST在平均token使用量上实现了69.68%的减少，在准确率上实现了26.70%的提升。此外，在注意力离群指标评估中，FROST将最大无穷范数降低15.97%，平均峰度降低91.09%。代码已公开于https://github.com/robinzixuan/FROST。
引用
@article{arxiv.2601.19001,
title = {FROST: Filtering Reasoning Outliers with Attention for Efficient Reasoning},
author = {Haozheng Luo and Zhuolin Jiang and Md Zahid Hasan and Yan Chen and Soumalya Sarkar},
journal= {arXiv preprint arXiv:2601.19001},
year = {2026}
}
备注
International Conference on Learning Representations (ICLR) 2026