视觉叙事
计算与语言
2016-04-15 v1 人工智能
计算机视觉与模式识别
摘要
我们引入了首个用于序列视觉到语言的数据集，并探索该数据如何用于视觉叙事任务。该数据集的首次发布 SIND v.1 包含 20,211 个序列中的 81,743 张独特照片，并与描述性（标题）和故事语言相对齐。我们为叙事任务建立了若干强基线，并提出了一种用于基准评测进展的自动度量。对此数据集和叙事任务中提供的具象描述以及比喻性和社会性语言进行建模，有潜力将人工智能从对典型视觉场景的基本理解推向对接地事件结构和主观表达越来越类人的理解。
引用
@article{arxiv.1604.03968,
title = {Visual Storytelling},
author = {Ting-Hao and Huang and Francis Ferraro and Nasrin Mostafazadeh and Ishan Misra and Aishwarya Agrawal and Jacob Devlin and Ross Girshick and Xiaodong He and Pushmeet Kohli and Dhruv Batra and C. Lawrence Zitnick and Devi Parikh and Lucy Vanderwende and Michel Galley and Margaret Mitchell},
journal= {arXiv preprint arXiv:1604.03968},
year = {2016}
}
备注
to appear in NAACL 2016