用于主题连贯视觉故事生成的层次化结构强化学习
计算机视觉与模式识别
2019-01-21 v3 人工智能
机器学习
神经与进化计算
摘要
我们提出一种层次化结构的强化学习方法，以应对视觉故事生成任务中规划连贯多句故事的难题。在我们的框架中，给定图像序列生成故事的任务被划分到一个两级层次化解码器上。高层解码器通过依次为每张图像生成语义概念(即主题)来构建规划。低层解码器使用语义组合网络为每张图像生成句子，该网络有效地以主题为条件约束句子生成。两个解码器使用强化学习进行端到端的联合训练。我们在视觉故事(VIST)数据集上评估我们的模型。来自自动与人工评估的实证结果表明，所提出的层次化结构强化训练相比强大的扁平深度强化学习基线取得了显著更优的性能。
引用
@article{arxiv.1805.08191,
title = {Hierarchically Structured Reinforcement Learning for Topically Coherent Visual Story Generation},
author = {Qiuyuan Huang and Zhe Gan and Asli Celikyilmaz and Dapeng Wu and Jianfeng Wang and Xiaodong He},
journal= {arXiv preprint arXiv:1805.08191},
year = {2019}
}
备注
Accepted to AAAI 2019