CFN-ESA：一种具有情绪转移感知能力的跨模态融合网络用于对话情绪识别
计算与语言
2024-04-16 v2
摘要
对话中的多模态情绪识别（ERC）已引起各领域研究界日益增长的关注。本文提出一种具有情绪转移感知能力的跨模态融合网络（CFN-ESA）用于 ERC。现有方法同等对待各模态而不区分其中情绪信息量，难以从多模态数据中充分提取互补信息。为此，在 CFN-ESA 中，我们将文本模态视为情绪信息的主要来源，视觉与声学模态作为次要来源。此外，多数多模态 ERC 模型忽略情绪转移信息并过度关注上下文信息，导致在情绪转移场景下识别失败。我们精心设计情绪转移模块应对该挑战。CFN-ESA 主要由单模态编码器（RUME）、跨模态编码器（ACME）和情绪转移模块（LESM）构成。RUME 用于提取对话级上下文情绪线索并拉近模态间数据分布；ACME 用于以文本模态为中心进行多模态交互；LESM 用于建模情绪转移并捕获情绪转移信息，从而引导主任务学习。实验结果表明，CFN-ESA 能有效提升 ERC 性能，并显著优于 SOTA 模型。
引用
@article{arxiv.2307.15432,
title = {CFN-ESA: A Cross-Modal Fusion Network with Emotion-Shift Awareness for Dialogue Emotion Recognition},
author = {Jiang Li and Xiaoping Wang and Yingjian Liu and Zhigang Zeng},
journal= {arXiv preprint arXiv:2307.15432},
year = {2024}
}
备注
Accepted by IEEE Transactions on Affective Computing (TAFFC)