ConciseHint：通过生成中的连续简洁提示提升高效推理
人工智能
2025-10-02 v3 计算与语言
计算机视觉与模式识别
摘要
最近的大型推理模型（LRMs）如 DeepSeek-R1 和 OpenAI o1 系列通过链式思考（Chain-of-Thought, CoT）延长生成长度，取得了在复杂推理任务上的显著性能提升。然而，这些模型倾向于产生冗长的推理过程，导致效率问题。现有文献主要遵循生成前的范式，如提示法和推理或微调和推理，但忽略了在推理生成期间直接鼓励模型简洁表达的有前景方向。为填补这一空白，我们提出一种称为 ConciseHint 的框架，通过在推理生成期间注入可学习的提示（可手动设计或在简洁数据上学习），持续鼓励推理模型简洁表达。此外，ConciseHint 能根据查询复杂度自适应调整提示强度，以确保不会损害模型性能。在 DeepSeek-R1 和 Qwen-3 系列等最新 LRMs 上的实验表明，我们的方法能够在保持性能的同时有效生成简洁推理。此外，我们展示了 ConciseHint 灵活且可无缝集成于现有方法，以进一步提升效率上限。
引用
@article{arxiv.2506.18810,
title = {ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation},
author = {Siao Tang and Xinyin Ma and Gongfan Fang and Xinchao Wang},
journal= {arXiv preprint arXiv:2506.18810},
year = {2025}
}
备注
Compare with more baselines, add more in-depth analysis, and re-evaluate the GPQA-D benchmark. Codes are available at https://github.com/tsa18/ConciseHint