CIRF: 将链式思考token化为可重用功能单元,以提高大语言模型中潜在推理的效率
计算与语言
2026-05-28 v1
摘要
隐式链式思考(CoT)通过内化显式推理链条来降低大语言模型的推理成本,但现有方法通常缺乏与显式推理链条的对齐性,以及对问题复杂度的适应性。本文提出CIRF(\underline{C}hain-of-thoughts \underline{I}nto \underline{R}eusable \underline{F}unctional units),一种隐式CoT框架,其以离散功能token序列进行推理。CIRF为显式CoT轨迹中每个语义连贯的推理单元分配功能token,然后对功能token及其可选结果进行自回归生成,最终给出答案。该设计将潜在推理与功能单元序列对齐,促进了并行训练、显式推理链条对齐以及推理适应性。广泛的实验表明,与最新方法的隐式CoT相比,CIRF在数学、符号和常识推理基准测试中实现了更优的准确率-延迟权衡。进一步分析表明,CIRF构建出具有解释性的离散功能token,从而实现了持续的性能提升。
引用
@article{arxiv.2605.28292,
title = {CIRF: Tokenizing Chain-of-Thoughts into Reusable Functional Units for Efficient Latent Reasoning in Large Language Models},
author = {Yukyung Lee and Yumeng Shen and Jinhyeong Park and Hyein Yang and Jun-Hyung Park},
journal= {arXiv preprint arXiv:2605.28292},
year = {2026}
}
备注
17 pages, 7 figures