捕捉差距：探讨大语言模型自我提升能力

自我提升是大语言模型(LLM)预训练、后训练和测试时推理中的一种机制。我们探讨了一个框架，其中模型验证其自身输出，基于此验证对数据进行过滤或重加权，然后提炼过滤后的数据。尽管已有若干实证成功，但仍缺乏基本性理解。本文提出一项全面、模块化且受控的LLM自我提升研究。我们对自我提升提供数学表述，其本质由我们形式化的生成-验证间隙所主导。通过针对 various model families and tasks 的实验，我们发现自我提升的尺度现象——一种变体的生成-验证间隙随模型预训练 flops 单调增长。我们还考察了何时可能实现自我提升、迭代自我提升程序以及提升其性能的方法。我们的发现不仅推动了对LLM自我提升的理解并具有实际意义，也为其能力与边界的未来研究开辟了诸多途径。