EffMulti：高效建模复杂多模态交互用于情绪分析
机器学习
2022-12-20 v1 人工智能
计算与语言
摘要
人类擅长从多模态信号（包括口语词、同步语音与面部表情）中读取对话者的情绪。从多模态信号的复杂交互中有效解码情绪仍具挑战。本文设计三类多模态潜在表示以精炼情绪分析过程，并从不同视角捕捉复杂多模态交互，包括完整三模态融合表示、模态共享表示与三个模态个体表示。进而提出模态-语义分层融合，将这些表示合理整合为综合交互表示。实验结果表明，我们的 EffMulti 优于当前最优（SOTA）方法。其优异性能源于设计良好的框架，具有易实现、较低计算复杂度与较少可训练参数的特点。
引用
@article{arxiv.2212.08661,
title = {EffMulti: Efficiently Modeling Complex Multimodal Interactions for Emotion Analysis},
author = {Feng Qiu and Chengyang Xie and Yu Ding and Wanzeng Kong},
journal= {arXiv preprint arXiv:2212.08661},
year = {2022}
}
备注
6 pages,1 figure