视频情感识别、归因与摘要中的异构知识迁移

情感是用户生成视频中的一个关键元素。然而，由于用户生成内容的复杂非结构化性质以及表达情感的视频帧的稀疏性，难以理解此类视频中传达的情感。在本文中，我们首次研究了从异构外部源（包括图像和文本数据）迁移知识以促进理解视频情感的三个相关任务的问题：情感识别、情感归因和情感导向摘要。具体而言，我们的框架（1）从辅助情感图像数据集学习视频编码，以改善有监督视频情感识别，并且（2）从辅助文本语料库迁移知识，用于训练期间未见的情感类别的零样本识别。所提出的知识迁移技术促进了情感归因和情感导向摘要的新颖应用。在多个数据集上的综合实验集证明了我们框架的有效性。