基于自-paced课程学习的模态平衡提升：多模态对话情感识别框架
机器学习
2026-05-22 v1
摘要
多模态情感识别在对话中（MERC）是理解人类交互的关键任务，已取得结合语言、面部表情和声音的多模态方法显著进展。然而，模态错位和不平衡学习仍是主要挑战，限制了有效利用多模态信息的能力。为此，我们提出一个基于自-paced课程学习（SPCL）的即插即用框架用于MERC。我们引入双层难度测量器，捕捉说话单元层面的难度以及对话层面的挑战。说话单元层面的得分模型刻画细粒度的模态特定难度，而对话层面的得分捕捉更广泛的对话结构，包括情感依赖和模态一致性。基于这些得分，学习调度器动态引导从容易到更困难的实例进行训练。通过将SPCL集成到现有的MERC架构中，我们缓解了模态不平衡问题并提高了模型鲁棒性。在IEMOCAP和MELD数据集上进行的广泛实验表明，我们的方法在不同架构和模态设置下均实现了一致的改进。在IEMOCAP上，SPCL相对于基线模型将加权F1分数提升约+1.2%至+6.6%，而在MELD上提升幅度可达+10.4%。这些结果凸显了SPCL作为轻量级即插即用模块在多模态情感识别中有效且通用的价值。
引用
@article{arxiv.2605.21565,
title = {Leveraging Self-Paced Curriculum Learning for Enhanced Modality Balance in Multimodal Conversational Emotion Recognition},
author = {Phuong-Anh Nguyen and The-Son Le and Duc-Trong Le and Cam-Van Thi Nguyen},
journal= {arXiv preprint arXiv:2605.21565},
year = {2026}
}
备注
Accepted at Neural Computing and Applications (Springer), 2026