风格胜于实质：蒸馏语言模型通过风格复制进行推理
机器学习
2025-10-30 v2
摘要
专门的推理语言模型(RLM)已显示，通过详细的推理痕迹显著提升了测试时计算的扩展性。尽管这些痕迹有效地促进了知识蒸馏到较小的指令调优模型中，但精确的迁移推理方式尚不清晰。本研究 investigates distilled模型在推理中是否内化了复制的风格模式。为此，我们系统性地分析了推理痕迹，识别出 characterize successful reasoning的结构和词汇模式。我们随后引入了两个新数据集——一个新兴推理痕迹数据集和一个旨在复制这些风格模式的合成数据集——以精确检验这些模式对distilled模型推理能力的影响。我们发现，训练于合成痕迹的模型实现了相当的性能，表明蒸馏推理能力显著依赖于表层模式。出乎意料，我们观察到即使合成痕迹被修改为导向错误答案，性能仍会提升。我们的发现突显了如何利用风格模式来高效地增强跨 diverse model family的LM推理能力。
引用
@article{arxiv.2504.01737,
title = {Enlightenment Period Improving DNN Performance},
author = {Tiantian Liu and Meng Wan and Jue Wang and Ningming Nie},
journal= {arXiv preprint arXiv:2504.01737},
year = {2025}
}