目标导向的故事生成：用强化学习增强生成式语言模型
计算与语言
2021-12-17 v1 人工智能
摘要
大型预训练生成式语言模型的出现为人工智能故事生成提供了一个通用框架，即通过采样模型来创建延续故事的序列。然而，仅靠采样不足以进行故事生成。特别是，很难引导语言模型创作出达到特定目标事件的故事。我们提出了两种基于深度强化学习和奖励塑形的自动化技术，以控制计算机生成故事的情节。第一种利用近端策略优化对现有的基于 transformer 的语言模型进行微调，使其既能生成文本续写又具有目标导向性。第二种从展开的故事中提取知识图谱，由一个带图注意力的策略网络用来选择语言模型生成的候选续写。我们报告了关于故事达到给定目标事件频率的自动化指标，以及与基线和消融实验相比、由人类参与者对连贯性和整体故事质量进行的排序。
引用
@article{arxiv.2112.08593,
title = {Goal-Directed Story Generation: Augmenting Generative Language Models with Reinforcement Learning},
author = {Amal Alabdulkarim and Winston Li and Lara J. Martin and Mark O. Riedl},
journal= {arXiv preprint arXiv:2112.08593},
year = {2021}
}
备注
preprint