基于生成对抗模仿学习的多模态叙事生成
人工智能
2017-12-06 v1 计算与语言
计算机视觉与模式识别
摘要
提取事件故事线是一种有效的摘要方法，可简洁地组织大量信息，从而显著缓解信息过载之苦。关键挑战在于缺乏被广泛认可的故事线度量定义。先前研究基于关于用户兴趣的不同假设开发了多种方法。这些工作能提取有趣的模式，但其假设并不能保证所得模式符合用户偏好。另一方面，它们仅使用单一模态来源的局限性遗漏了跨模态信息。本文提出一种方法，即基于生成对抗网络的多模态模仿学习（MIL-GAN），以直接建模由各类数据所反映的用户兴趣。具体而言，所提模型通过模仿用户展示出的故事线来应对这一关键挑战。我们提出的模型旨在给定用户提供的故事线下学习奖励模式，然后将学到的策略应用于未见过的数据。经用户研究表明，所提方法能够获取用户的隐式意图，并以显著优势超越对比方法。
引用
@article{arxiv.1712.01455,
title = {Multimodal Storytelling via Generative Adversarial Imitation Learning},
author = {Zhiqian Chen and Xuchao Zhang and Arnold P. Boedihardjo and Jing Dai and Chang-Tien Lu},
journal= {arXiv preprint arXiv:1712.01455},
year = {2017}
}
备注
IJCAI 2017