中文

聚焦情感热点:多模态局部-全局融合与跨模态对齐用于情感识别

计算与语言 2025-10-13 v1 人工智能

摘要

情感识别在对话中(ERC)具有技术难度,主要因为判别性证据稀疏、局部化,且在不同模态之间常常不同步。我们将ERC聚焦于情感热点,提出一种统一模型,检测文本、音频和视频中每个说话段的热点,借助热点门控融合(Hotspot-Gated Fusion)将其与全局特征融合,并通过路由混合对齐器(routed Mixture-of-Aligners)实现模态间对齐;对话结构由跨模态图进行编码。该设计聚焦于显著片段建模,缓解对齐偏差,同时保留上下文信息。实验在标准ERC基准数据集上均取得显著超越强基线的性能,消融实验确认了HGF与MoA的贡献。我们的结果表明,热点中心化视角可指导未来多模态学习,为ERC中的模态融合提供新视角。

关键词

引用

@article{arxiv.2510.08606,
  title  = {Centering Emotion Hotspots: Multimodal Local-Global Fusion and Cross-Modal Alignment for Emotion Recognition in Conversations},
  author = {Yu Liu and Hanlei Shi and Haoxun Li and Yuqing Sun and Yuxuan Ding and Linlin Gong and Leyuan Qu and Taihao Li},
  journal= {arXiv preprint arXiv:2510.08606},
  year   = {2025}
}

备注

Under review for ICASSP 2026