卡通视频的旁白生成
计算与语言
2021-01-19 v1
摘要
从多模态输入进行文本生成的研究主要集中在静态图像上，对视频数据关注较少。在本文中，我们提出了一项新任务——旁白生成，即为视频补充需在若干位置插入的旁白文本。旁白是视频的一部分，并有助于其中故事线的展开。此外，它们是上下文相关的，因为包含了其所覆盖视频时间段内的合适信息，并且不像字幕那样需要包含输入场景中的每一个细节。我们从动画电视系列片《小猪佩奇》中收集了一个新数据集。此外，我们将旁白生成任务形式化为包含计时与内容生成两个独立子任务，并针对该新任务提出了一组模型。
引用
@article{arxiv.2101.06803,
title = {Narration Generation for Cartoon Videos},
author = {Nikos Papasarantopoulos and Shay B. Cohen},
journal= {arXiv preprint arXiv:2101.06803},
year = {2021}
}