剧情视频中成对情感关系识别：数据集与基准
计算机视觉与模式识别
2021-09-24 v1
摘要
识别人的情感状态是视频理解中基础但具挑战性的任务。本文提出该领域一项新任务，称为成对情感关系识别（PERR）。该任务旨在识别给定视频片段中两个交互角色之间的情感关系。它不同于传统的情感与社会关系识别任务。由角色外观、行为、面部情绪、对话、背景音乐以及字幕构成的各类信息对最终结果的贡献不同，这使得该任务更具挑战性但在发展更先进的多模态模型中更有意义。为推进该任务，我们基于电视剧与电影构建了一个称为交互情感关系（ERATO）的新数据集。ERATO 是一个用于 PERR 任务的大规模多模态数据集，包含 31,182 个视频片段，时长约 203 小时。与现有数据集不同，ERATO 包含以交互为中心的多镜头、变长视频以及包括视觉、音频和文本的多模态数据。作为次要贡献，我们提出了一个由同步模态-时间注意力（SMTA）单元组成的基线模型，以融合 PERR 任务的多模态信息。与其他流行注意力机制相比，我们提出的 SMTA 可稳定提升约 1\% 性能。我们期望 ERATO 及提出的 SMTA 为视频理解中 PERR 任务开辟新途径，并进一步改进多模态融合方法的研究。
引用
@article{arxiv.2109.11243,
title = {Pairwise Emotional Relationship Recognition in Drama Videos: Dataset and Benchmark},
author = {Xun Gao and Yin Zhao and Jie Zhang and Longjun Cai},
journal= {arXiv preprint arXiv:2109.11243},
year = {2021}
}