语言模型可通过自我延长生成更长的文本
计算与语言
2024-11-01 v1
摘要
尽管大语言模型（LLMs）在处理长上下文方面的能力近期取得了显著进步，但在生成长且对齐的输出方面仍存在明显差距。这一局限源于训练差距：预训练缺乏生成长文本的有效指令，而训练后数据主要由短问答对组成。当前的方法，如指令回译和行为模仿，面临着数据质量、版权问题以及专有模型使用限制等挑战。本文中，我们引入一个创新的迭代训练框架，名为Self-Lengthen，该框架仅利用LLMs的内在知识和技能，无需辅助数据或专有模型。该框架包含两个角色：生成器和扩展器。生成器产生初始响应，然后由扩展器将其拆分并扩展。此过程产生一个新的、更长的响应，用于迭代训练生成器和扩展器。通过此过程，模型被逐步训练以处理越来越长的响应。基准测试和人工评估实验表明，当应用于Qwen2和LLaMA3等顶尖开源LLMs时，Self-Lengthen在长文本生成方面优于现有方法。我们的代码已在https://github.com/QwenLM/Self-Lengthen上公开。
引用
@article{arxiv.2410.23933,
title = {Language Models can Self-Lengthen to Generate Long Texts},
author = {Shanghaoran Quan and Tianyi Tang and Bowen Yu and An Yang and Dayiheng Liu and Bofei Gao and Jianhong Tu and Yichang Zhang and Jingren Zhou and Junyang Lin},
journal= {arXiv preprint arXiv:2410.23933},
year = {2024}
}