一种用于情绪归因、分类与摘要的多任务神经方法
机器学习
2019-07-25 v2 计算机视觉与模式识别
机器学习
摘要
情感内容是用户生成视频中的关键要素。然而，视频中情感表达的稀疏性给视觉情感分析带来了障碍。在本文中，我们提出一种新的神经方法——双流情绪归因-分类网络（BEAC-Net），以在单一集成框架中解决三个相关的情感分析任务：情绪识别、情绪归因和面向情绪的摘要。BEAC-Net 有两个主要组成部分：一个归因网络和一个分类网络。归因网络提取主要的情感片段，分类应聚焦于该片段以缓解稀疏性问题。分类网络在双流架构中利用所提取的片段和原始视频。我们为情绪归因任务贡献了一个带有人类标注情感片段真值标签的新数据集。在两个视频数据集上的实验证明了所提框架的优越性能以及双分类流的互补性。
引用
@article{arxiv.1812.09041,
title = {A Multi-task Neural Approach for Emotion Attribution, Classification and Summarization},
author = {Guoyun Tu and Yanwei Fu and Boyang Li and Jiarui Gao and Yu-Gang Jiang and Xiangyang Xue},
journal= {arXiv preprint arXiv:1812.09041},
year = {2019}
}
备注
Authors' manuscript; published at the IEEE Transactions on Multimedia