将系统2蒸馏为系统1
计算与语言
2024-07-26 v3 人工智能
摘要
大型语言模型(LLM)可以在推理过程中消耗额外计算资源来生成中间思考过程,这有助于产生更好的最终响应。自思维链(Wei et al., 2022)以来,许多此类系统2技术被提出,例如重述与回应(Deng et al., 2023a)、系统2注意力(Weston and Sukhbaatar, 2023)以及分支-求解-合并(Saha et al., 2023)。在这项工作中,我们研究自监督方法,将系统2技术产生的更高质量输出“编译”(蒸馏)回LLM的生成结果中,且不包含中间推理标记序列,因为这种推理已被蒸馏到系统1中。我们展示了若干此类技术可以被成功蒸馏,从而相比原始系统1性能获得改进结果,并且推理成本低于系统2。我们认为,这种系统2蒸馏将成为未来持续学习AI系统的一个重要特性,使其能够将系统2能力集中于尚不能很好完成的推理任务。
引用
@article{arxiv.2407.06023,
title = {Distilling System 2 into System 1},
author = {Ping Yu and Jing Xu and Jason Weston and Ilia Kulikov},
journal= {arXiv preprint arXiv:2407.06023},
year = {2024}
}