推理能力的民主化:基于大语言模型的定制化学习
计算与语言
2023-10-23 v1 人工智能
摘要
大语言模型(LLMs)在自然语言处理中展现出令人惊叹的涌现能力,但其民主化受限于巨大的计算需求与闭源特性。近期关于通过从黑盒 LLM 蒸馏知识来推进开源较小 LM 的研究,在指令遵循能力上已取得可喜结果。然而,更具培养难度的推理能力相对较少被探索。本文提出一种定制化学习方法,将此类推理能力蒸馏至较小的 LM,以促进专属推理能力的民主化。与仅将 LLM 用作数据标注者不同,我们挖掘 LLM 作为推理教师的潜力,构建交互式多轮学习范式。该范式使学生向其缺陷暴露给黑盒教师,后者进而返回定制化训练数据。进一步,为挖掘较小 LM 的推理潜力,我们提出自反思学习,促使学生从自身错误中学习。自反思学习与来自 LLM 的学习均因与多轮学习范式的无缝集成而契合学生的学习状态。在数学与常识推理任务上的综合实验与分析证明了我们方法的有效性。代码将发布于 https://github.com/Raibows/Learn-to-Reason。
引用
@article{arxiv.2310.13332,
title = {Democratizing Reasoning Ability: Tailored Learning from Large Language Model},
author = {Zhaoyang Wang and Shaohan Huang and Yuxuan Liu and Jiahai Wang and Minghui Song and Zihan Zhang and Haizhen Huang and Furu Wei and Weiwei Deng and Feng Sun and Qi Zhang},
journal= {arXiv preprint arXiv:2310.13332},
year = {2023}
}
备注
To appear at EMNLP 2023