Alice：基于教师演示的主动学习用于弱到强的泛化
计算与语言
2025-04-15 v2
摘要
大型语言模型(LLM)日益增强的能力为保持有效的人类监督提出了关键挑战。弱到强泛化(W2SG)提供了一个有前景的框架，用于使用较弱的模型来监督日益增强的模型。传统的W2SG方法依赖被动学习，即弱教师提供噪声性演示来训练强学生。这会阻碍学生在训练期间运用其知识以发挥最大潜能。在本工作中，我们引入了Alice(pro{A}ctive{l}earning w{i}th tea{c}her's D{e}monstrations)，一个利用教师与学生之间互补知识来增强学习过程的框架。我们通过挖掘教师模型的知识库来获取其不确定性，然后将这些见解与教师的响应一起作为演示，用于指导学生模型自我生成改进的响应以进行监督。此外，对于教师与学生模型之间能力差异显著的情况，我们引入了级联Alice，该方法采用分层训练方法，即弱教师最初监督中间模型，然后指导更强的模型依次进行。实验结果表明，我们的方法显著增强了W2SG性能，在三个关键任务中均实现了显著提升，相较于原始W2SG分别提高了知识推理(+4.0%)、数学推理(+22.62%)和逻辑推理(+12.11%)。这凸显了我们新颖的W2SG范式的有效性，使知识传递和监督结果更加稳健。
引用
@article{arxiv.2504.07316,
title = {Alice: Proactive Learning with Teacher's Demonstrations for Weak-to-Strong Generalization},
author = {Shujin Wu and Cheng Qian and Yi R. Fung and Paul Pu Liang and Heng Ji},
journal= {arXiv preprint arXiv:2504.07316},
year = {2025}
}