用于连贯视觉叙事的有序注意力
计算机视觉与模式识别
2022-11-10 v3 计算与语言
摘要
我们解决视觉叙事问题，即为一给定图像序列生成故事。虽然故事的每一句应描述对应图像，但连贯的故事还需保持一致并关联未来与过往图像。为此我们提出有序图像注意力（OIA）。OIA 对句对应图像与序列中其他图像的重要区域之间的交互建模。为突出重要对象，一种类消息传递算法以顺序感知的方式收集这些对象的表示。为生成故事句子，我们随后用图像-句子注意力（ISA）突出重要图像注意力向量。此外，为缓解重复等常见语言错误，我们引入自适应先验。所得结果在 VIST 数据集上将 METEOR 分数提升 1%。另有一项广泛人工研究验证了连贯性改进，并表明 OIA 与 ISA 生成的故事更聚焦、更具可分享性且更贴合图像。
引用
@article{arxiv.2108.02180,
title = {Ordered Attention for Coherent Visual Storytelling},
author = {Tom Braude and Idan Schwartz and Alexander Schwing and Ariel Shamir},
journal= {arXiv preprint arXiv:2108.02180},
year = {2022}
}
备注
9 pages, 7 figures