SuperWriter：基于反思驱动的大语言模型长文本生成
计算与语言
2025-06-05 v1
摘要
长文本生成对大语言模型（LLM）而言仍是一项重大挑战，特别是在保持连贯性、确保逻辑一致性以及随序列长度增加保持文本质量方面。为解决这些局限，我们提出SuperWriter-Agent，一个基于智能体的框架，旨在提升长文本生成的质量和一致性。SuperWriter-Agent在生成流水线中引入显式的结构化思维——通过规划和细化阶段，引导模型遵循更审慎且认知基础更扎实的过程，类似于专业作家的做法。基于此框架，我们构建了一个监督微调数据集以训练一个7B的SuperWriter-LM。我们进一步开发了一种层次化直接偏好优化（DPO）程序，利用蒙特卡洛树搜索（MCTS）传播最终质量评估并相应地优化每个生成步骤。在多个基准测试上的实证结果表明，SuperWriter-LM达到了最先进的性能，在自动评估和人工评估中均超越了更大规模的基线模型。此外，全面的消融研究证明了层次化DPO的有效性，并强调了纳入结构化思维步骤以提升长文本生成质量的价值。
引用
@article{arxiv.2506.04180,
title = {SuperWriter: Reflection-Driven Long-Form Generation with Large Language Models},
author = {Yuhao Wu and Yushi Bai and Zhiqiang Hu and Juanzi Li and Roy Ka-Wei Lee},
journal= {arXiv preprint arXiv:2506.04180},
year = {2025}
}