端到端故事情节生成器

故事情节虽短，却承载了可能包含数万字完整故事的大部分关键信息。我们研究故事情节的自动生成问题，包括故事前提、角色描述和情节大纲等。为生成单一引人入胜的情节，现有情节生成器（如 DOC（Yang et al., 2022a））在故事情节规划阶段需要数百至数千次对 LLM（如 OpenAI API）的调用，成本高昂且至少耗时数分钟。此外，该方法硬连线式的特性使得流水线不可微分，阻碍了情节生成器的快速专业化与个性化。在本文中，我们提出三个模型，\texttt{OpenPlot}、\texttt{E2EPlot} 和 \texttt{RLPlot}，以应对这些挑战。\texttt{OpenPlot} 通过精心的提示设计以 LLaMA2（Touvron et al., 2023）调用替代昂贵的 OpenAI API 调用，从而实现低成本的高质量故事情节训练数据集生成。随后我们使用由 \texttt{OpenPlot} 生成的约 13000 个故事情节，通过监督微调（SFT）训练了一个端到端故事情节生成器 \texttt{E2EPlot}。\texttt{E2EPlot} 生成与 \texttt{OpenPlot} 质量相当的故事情节，且速度 > 10$\times$ 更快（1k tokens 平均仅需 30 秒）。最后，我们得到 \texttt{RLPlot}，其使用针对不同故事质量维度的若干奖励模型经 RLHF 进一步微调，在悬念与惊喜维度上相对于 \texttt{E2EPlot} 取得了 60.0$\%$ 的胜率。