大语言模型的自我改进：技术综述与未来展望
计算与语言
2026-03-27 v1
摘要
随着大语言模型（LLMs）的持续进步，仅通过人类监督来改进它们正变得越来越昂贵且在可扩展性方面受到限制。当模型在某些领域接近人类水平能力时，人类反馈可能不再为进一步改进提供足够的信息信号。与此同时，模型自主决策和执行复杂行动的能力不断增强，自然使得模型开发过程的各个组件可以被逐步自动化。这些挑战与机遇共同推动了自我改进的兴趣，即模型自主生成数据、评估输出并迭代式地精化自身能力。在本文中，我们从系统层面审视自改进语言模型，并提出一个统一框架来组织现有方法。我们将自改进系统概念化为一个闭环生命周期，由四个紧密耦合的过程组成：数据获取、数据选择、模型优化和推理精化，以及一个自主评估层。在这一框架中，模型本身在推动每个阶段中扮演核心角色：收集或生成数据、选择信息信号、更新参数和精化输出，而自主评估层持续监控进展并引导跨阶段的改进循环。基于这一生命周期视角，我们从技术角度系统地回顾和分析了每个组件的代表性方法。我们进一步讨论了当前的局限性，并概述了我们迈向完全自改进 LLM 的未来研究愿景。
引用
@article{arxiv.2603.25681,
title = {Self-Improvement of Large Language Models: A Technical Overview and Future Outlook},
author = {Haoyan Yang and Mario Xerri and Solha Park and Huajian Zhang and Yiyang Feng and Sai Akhil Kogilathota and Jiawei Zhou},
journal= {arXiv preprint arXiv:2603.25681},
year = {2026}
}