基于三智能体生成流水线的个性化抽取式摘要

尽管大型语言模型（如 ChatGPT）具有令人印象深刻的生成能力，但使其输出适配隐式用户偏好仍具挑战。本文提出一种由生成器、指导器与编辑器组成的三智能体生成流水线，以增强输出个性化。生成器产生初始输出，指导器基于用户偏好自动生成编辑指令，编辑器则精炼输出以契合这些偏好。仅推理的大型语言模型（ChatGPT）同时充当生成器与编辑器，而较小的模型作为指导器引导输出生成。我们利用编辑器引导的强化学习训练指导器，借助大规模编辑器模型的反馈优化指令生成。在两个抽取式摘要数据集上的实验结果证明了我们的方法在生成更贴合用户期望的输出方面的有效性。代码见 \url{https://github.com/Wendy-Xiao/chatgpt_editing_summ}。