学习电影角色间的交互与关系
计算机视觉与模式识别
2020-03-31 v1
摘要
人与人之间的交互通常由其关系所支配。反之，社会关系建立在多次交互之上。两个陌生人更可能互相问候并自我介绍，而随着时间推移成为朋友。我们对这种交互与关系之间的相互作用深感着迷，并认为这是理解社交情境的一个重要方面。在本工作中，我们提出神经模型来学习并联合预测交互、关系以及所涉及的一对角色。我们注意到交互由视觉与对话线索的混合所告知，并提出了一种多模态架构以从中提取有意义的信息。在视频中定位交互角色对是一个耗时的过程，因此我们训练模型从片段级弱标签中学习。我们在 MovieGraphs 数据集上评估了我们的模型，展示了模态的影响、利用更长时域上下文预测关系的作用，并且相较于真值标签，使用弱标签取得了令人鼓舞的性能。代码已在线发布。
引用
@article{arxiv.2003.13158,
title = {Learning Interactions and Relationships between Movie Characters},
author = {Anna Kukleva and Makarand Tapaswi and Ivan Laptev},
journal= {arXiv preprint arXiv:2003.13158},
year = {2020}
}
备注
CVPR 2020 (Oral)