将大语言模型的分解能力蒸馏到紧凑语言模型中
计算与语言
2024-02-06 v1 人工智能
机器学习
摘要
大语言模型（LLM）在推理能力方面表现出色，但其庞大的规模带来了可扩展性挑战，并限制了进一步的定制化。相比之下，紧凑模型支持定制化训练，但在解决复杂推理任务方面往往力不从心。本研究聚焦于利用离线强化学习将LLM的分解技能蒸馏到紧凑模型中。我们利用LLM能力的进步来提供反馈并生成专门的任务特定数据集，用于训练紧凑模型。AI生成数据集的开发和基线的建立构成了我们工作的主要贡献，凸显了紧凑模型在复现复杂问题解决技能方面的潜力。
引用
@article{arxiv.2402.01812,
title = {Distilling LLMs' Decomposition Abilities into Compact Language Models},
author = {Denis Tarasov and Kumar Shridhar},
journal= {arXiv preprint arXiv:2402.01812},
year = {2024}
}
备注
https://github.com/DT6A/GSM8K-AI-SubQ