Word Salad Chopper：推理模型在无用重复中浪费了大量解码预算
计算与语言
2025-11-04 v1
摘要
大型推理模型（LRM）的输出标记成本常成为瓶颈。我们指出，这些标记中相当大一部分是无用的自我重复——即我们所称的“词 salad”——这些重复耗尽了解码预算却未增加任何价值。有趣的是，我们注意到当LRM陷入这些循环时，<\n\n>跟随每个推理块的隐藏状态会呈现出模式，允许我们通过单层线性分类器实时检测词 salad行为。检测到后，附加一个简单的切块（chop）再加上一个 straightforward 的重生成提示，可实现显著的长度节省，同时保持最低质量损失。我们的工作提供了WordSaladChopper（WSC）——一个轻量级、即插即用且 minimally invasive 的组件，仅移除语义上冗余的标记，即可为LRM节省大量解码预算。鉴于其低开销、显著节省以及词 salad标记缺乏语义价值，我们认为WSC或类似组件是所有以用户体验为导向的LRM应用的必备品。我们的代码已公开发布于https://github.com/wenyaxie023/WordSaladChopper。
引用
@article{arxiv.2511.00536,
title = {Word Salad Chopper: Reasoning Models Waste A Ton Of Decoding Budget On Useless Repetitions, Self-Knowingly},
author = {Wenya Xie and Shaochen and Zhong and Hoang Anh Duy Le and Zhaozhuo Xu and Jianwen Xie and Zirui Liu},
journal= {arXiv preprint arXiv:2511.00536},
year = {2025}
}