对话中的多模态情感-原因对抽取
计算与语言
2021-10-18 v1
摘要
近年来，情感原因分析受到了广泛关注。以往的研究主要集中在从新闻文章或微博的文本中抽取情感原因。在对话中发现情感及其原因同样具有重要意义。由于对话在其自然形态下是多模态的，大量研究已经开展了对话中的多模态情感识别，但在多模态情感原因分析方面仍缺乏相关工作。在这项工作中，我们引入了一项名为对话中的多模态情感-原因对抽取的新任务，旨在从反映在多种模态（文本、音频和视频）的对话中联合抽取情感及其关联的原因。我们相应地构建了一个多模态对话情感原因数据集 Emotion-Cause-in-Friends，其中包含对情景喜剧《老友记》中 13,509 条话语标注的 9,272 个多模态情感-原因对。我们最终通过建立一个结合多模态特征进行情感-原因对抽取的基线系统，对该任务进行了基准测试。初步的实验结果证明了多模态信息融合在发现对话中情感与原因方面的潜力。
关键词
引用
@article{arxiv.2110.08020,
title = {Multimodal Emotion-Cause Pair Extraction in Conversations},
author = {Fanfan Wang and Zixiang Ding and Rui Xia and Zhaoyu Li and Jianfei Yu},
journal= {arXiv preprint arXiv:2110.08020},
year = {2021}
}