无需高昂重训练即可显著提升AI能力

通过“训练后增强”（post-training enhancements）——即在初始训练后应用的技术，如微调系统以使用网络浏览器——可以在无需高昂重训练的情况下显著提升最先进的AI系统。我们回顾了最近的训练后增强技术，并将其分为五类：工具使用、提示方法、脚手架、解选择和数据生成。不同的增强技术在不同的任务上提升性能，因此很难比较它们的重要性。因此，我们将不同增强技术带来的改进转化为一个统一的度量标准，即计算等效增益：需要多少额外的训练计算量才能获得与该增强技术相同幅度的性能提升。我们的非实验性研究表明，训练后增强具有显著收益：大多数被调查的增强技术对基准测试性能的提升超过了5倍训练计算量增加的效果，有些甚至超过20倍。开发训练后增强技术的成本相对较低：微调成本通常不到原始训练成本的1%。然而，治理强大的训练后增强技术的开发可能具有挑战性，因为前沿模型可能会被广泛的参与者所增强。