结构化模板能否促进 LLMs 解决更难的任务？：基于难度的缩放定律探索
人工智能
2025-08-27 v1
摘要
结构化、过程性推理对于大型语言模型（LLMs）至关重要，尤其是在数学领域。虽然后训练方法提升了 LLM 的性能，但它们在捕捉复杂任务的深层过程逻辑方面仍有不足。为了解决这一问题，本文首先研究这一局限性并发现了一个新现象：基于难度的缩放定律，该定律揭示了模型性能相对于训练数据复杂度呈 U 型曲线——过量的低难度数据阻碍抽象，而高难度数据显著增强推理能力。受此启发，我们提出了结构化解模板（SST）框架，该框架使用解模板和不同难度的课程来显式教授过程性推理。具体而言，SST 包括：（1）使用结构化解模板链进行微调并采用动态加权损失以优先处理过程逻辑，（2）在提示时注入解模板作为认知支架以引导推理，以及（3）集成课程微调，显式教导模型进行自我规划-执行-自我纠正。在 GSM8K、AIME24 和新的 Dynamic En 基准上的实验表明，SST 显著提高了准确性和效率，特别是在更难的问题上。
引用
@article{arxiv.2508.19069,
title = {Can Structured Templates Facilitate LLMs in Tackling Harder Tasks? : An Exploration of Scaling Laws by Difficulty},
author = {Zhichao Yang and Zhaoxin Fan and Gen Li and Yuanze Hu and Xinyu Wang and Ye Qiu and Xin Wang and Yifan Sun and Wenjun Wu},
journal= {arXiv preprint arXiv:2508.19069},
year = {2025}
}
备注
9 pages