TRiMS：基于 RL 的高效推理链长度实时跟踪
计算与语言
2026-03-19 v1
摘要
大型语言模型通过长链式思维序列实现了复杂推理方面的突破。然而，这常常导致严重的推理膨胀，造成显著的计算冗余。为最大化每个 Token 的智能效率，我们引入了理论指标 MSL-最小充分长度。MSL 对保持答案正确性的最短推理长度进行严格刻画。我们提供基于独立抽样序列的递归定义，并证明了其极限的存在，建立了推理链压缩的第一个可测量下界。在对主流 CoT 压缩策略进行分析后，我们识别出模型接近 MSL 的关键结构因素。基于这些见解，我们提出了 TRiMS，该方法在训练期间结合 MSL 估计和 GRPO 算法，同时通过动态批量聚合和基于批次水平标准差的优势计算来缓解训练过程中的不稳定性。TRiMS 在所有基准测试中实现了超过 80% 的 CoT token 减少，并在准确率上获得轻微提升。
引用
@article{arxiv.2603.17449,
title = {TRiMS: Real-Time Tracking of Minimal Sufficient Length for Efficient Reasoning via RL},
author = {Tingcheng Bian and Jinchang Luo and Mingquan Cheng and Jinyu Zhang and Xiaoling Xia and Ni Li and Yan Tao and Haiwei Wang},
journal= {arXiv preprint arXiv:2603.17449},
year = {2026}
}
备注
8 pages (main), 21 pages total including appendix, 18 figures.Code will be released