多方法自训练：用文本改进代码生成，反之亦然
计算与语言
2023-07-21 v1 机器学习
摘要
大语言模型拥有多种解决同一问题的方法。这带来了新的优势（不同方法可能对不同问题表现良好）与劣势（用户可能难以知晓该使用哪种方法）。本文引入多方法自训练（MMST），其中一种方法在另一种方法的过滤输出上进行训练，使我们能够增强各方法的优势并缓解其劣势。使用一个在语言与代码上均经过训练的 176B 参数模型，我们展示 MMST 能够 1）改进表现较弱的方法（最高 30%），使模型更易用；2）改进表现较强的方法（最高 32.2%），使模型性能更强；3）通过提升模型生成推理过程的能力，改进相关但不同任务的表现（最高 10.3%）。随后我们进行消融分析以探究 MMST 生效的原因。我们表明 MMST 比传统自训练生成更多数据，但性能提升由多方法的使用所驱动。我们还分析了提示工程与方法间的反相关表现，作为提升 MMST 有效性的手段。我们希望本文的证据能激励机器学习研究者探索语言模型进展所催生的新型训练方式。
引用
@article{arxiv.2307.10633,
title = {Multi-Method Self-Training: Improving Code Generation With Text, And Vice Versa},
author = {Shriyash K. Upadhyay and Etan J. Ginsberg},
journal= {arXiv preprint arXiv:2307.10633},
year = {2023}
}
备注
23 pages, 3 figures