通过蓝图与提示模板搜索提升小型语言模型的推理能力
机器学习
2025-06-11 v1 人工智能
摘要
小型语言模型 (SLMs) 提供了对大型语言模型 (LLMs) 具有前景且高效的替代方案。然而，SLMs 的有限容量限制了其推理能力，并使其对提示变体敏感。为解决这些挑战，我们提出一种新框架，通过 LLM 生成的蓝图来增强 SLMs 的推理能力。蓝图提供结构化的、高层次的推理指南，帮助 SLMs 系统性地解决相关问题。此外，我们的框架集成了提示模板搜索机制，以缓解 SLMs 对提示变体的敏感性。我们的框架在包括数学 (GSM8K)、编码 (MBPP) 和逻辑推理 (BBH) 在内的各种任务上 demonstrate了 improved SLM 性能。我们的做法无需增加模型规模或 require additional training，提供了一种轻量且适合部署的解决方案，用于设备端或资源受限的环境。
引用
@article{arxiv.2506.08669,
title = {Enhancing Reasoning Capabilities of Small Language Models with Blueprints and Prompt Template Search},
author = {Dongge Han and Menglin Xia and Daniel Madrigal Diaz and Samuel Kessler and Ankur Mallick and Xuchao Zhang and Mirian Del Carmen Hipolito Garcia and Jin Xu and Victor Rühle and Saravan Rajmohan},
journal= {arXiv preprint arXiv:2506.08669},
year = {2025}
}
备注
TTODLer-FM Workshop@ICML'25 (Tiny Titans: The next wave of On-Device Learning for Foundational Models)