DialogueTRM：从模态内与模态间视角探究对话中的情绪行为
计算与语言
2020-10-16 v1 多媒体
摘要
对话中的情绪识别(ERC)对于构建具有共情能力的人机系统至关重要。现有ERC研究主要聚焦于对对话上下文信息进行汇总，却忽略了不同模态内部及跨模态的差异性情绪行为。设计契合差异化多模态情绪行为的恰当策略，可产出更精准的情绪预测。为此，我们提出DialogueTransformer，从模态内与模态间视角探究差异化的情绪行为。对于模态内，我们构建了一种新颖的层次化Transformer，可依据各模态内差异化的上下文偏好在序列结构与前馈结构间轻松切换。对于模态间，我们构成了一种新颖的多粒度交互融合，应用神经元级与向量级特征交互来学习跨所有模态的差异化贡献。实验结果表明，DialogueTRM在三个基准数据集上以显著优势超越了当前最优(state-of-the-art)方法。
引用
@article{arxiv.2010.07637,
title = {DialogueTRM: Exploring the Intra- and Inter-Modal Emotional Behaviors in the Conversation},
author = {Yuzhao Mao and Qi Sun and Guang Liu and Xiaojie Wang and Weiguo Gao and Xuan Li and Jianping Shen},
journal= {arXiv preprint arXiv:2010.07637},
year = {2020}
}