面向多模态情感识别与情绪分析的多任务学习
计算与语言
2019-05-16 v1
摘要
相关任务通常相互依赖，且在联合框架下求解时表现更优。本文中，我们提出一个深度多任务学习框架，同时执行情感与情绪分析。视频的多模态输入（即文本、声学与视觉帧）传达多样且独特的信息，通常在决策中贡献不等。我们提出一种上下文级模态间注意力框架，用于同时预测话语的情感与所表达情绪。我们在CMU-MOSEI数据集上评估了所提方法以进行多模态情感与情绪分析。评估结果表明多任务学习框架相较单任务框架有所提升。所提方法在情感分析与情绪分析上均报告了新的最先进（SOTA）性能。
引用
@article{arxiv.1905.05812,
title = {Multi-task Learning for Multi-modal Emotion Recognition and Sentiment Analysis},
author = {Md Shad Akhtar and Dushyant Singh Chauhan and Deepanway Ghosal and Soujanya Poria and Asif Ekbal and Pushpak Bhattacharyya},
journal= {arXiv preprint arXiv:1905.05812},
year = {2019}
}
备注
Accepted for publication in NAACL:HLT-2019