ViNTER：基于情感弧感知 Transformer 的图像叙事生成
计算机视觉与模式识别
2022-04-08 v2 计算与语言
摘要
图像叙事生成是一项从带有主观视角的图像创作故事的任务。鉴于作者、读者与角色的主观感受在讲故事中的重要性，图像叙事生成方法应当考虑人类情感。在本研究中，我们提出了一种新颖的图像叙事生成方法 ViNTER（带情感弧表示的视觉叙事 Transformer），其将“情感弧”作为输入以捕捉一系列情感变化。由于情感弧代表了情感变化的轨迹，预期我们可将故事中有关情感变化的详细信息纳入模型。我们给出了在 Image Narrative 数据集上自动与人工评估的实验结果，并证明了所提方法的有效性。
引用
@article{arxiv.2202.07305,
title = {ViNTER: Image Narrative Generation with Emotion-Arc-Aware Transformer},
author = {Kohei Uehara and Yusuke Mori and Yusuke Mukuta and Tatsuya Harada},
journal= {arXiv preprint arXiv:2202.07305},
year = {2022}
}