面向对话中多模态情绪预测与识别的情绪线索提取与融合
多媒体
2024-08-09 v1
摘要
对话情绪预测（EPC）旨在利用前序对话预测即将到来的话语的情绪。以往的EPC方法依赖于简单的上下文建模进行情绪提取，忽略了词级别的细粒度情绪线索。此外，先前的工作未能考虑模态之间的内在差异，导致信息冗余。为了克服这些局限性，我们提出了一种情绪线索提取与融合网络，该网络包含两个阶段：一个模态特定学习阶段，利用词级标签和韵律学习为每种模态构建情绪嵌入空间；以及一个用于整合多模态特征的两步融合阶段。此外，我们的模型提取的情绪特征也适用于对话情绪识别（ERC）任务。实验结果验证了所提方法的有效性，在IEMOCAP和MELD数据集上均表现出优越的性能。
引用
@article{arxiv.2408.04547,
title = {Emotional Cues Extraction and Fusion for Multi-modal Emotion Prediction and Recognition in Conversation},
author = {Haoxiang Shi and Ziqi Liang and Jun Yu},
journal= {arXiv preprint arXiv:2408.04547},
year = {2024}
}
备注
Accepted by INTERSPEECH 2024