基于补充性监督的多模态情感识别光谱带路由
计算机视觉与模式识别
2026-03-17 v1
摘要
多模态情感识别融合文本、视频和音频等线索，以理解个体情绪状态。先前方法面临两个主要限制：机械性地依赖独立单模态性能，从而忽略真实的补充性贡献，以及粗粒度融合与情感任务所需的细粒度表征相冲突。由于异构模态之间信息密度不一致，阻碍了跨模态特征挖掘，我们提出了 Complementarity-Supervised Multi-Band Expert Network，命名为Atsuko，通过多尺度带分解和专家协作来建模细粒度补充性特征。具体而言，我们对每个模态的特征在正交上分解为高、中、低频率分量。基于此带级路由，我们设计了一个带有双路径机制的模态级路由器，用于细粒度的跨带选择和跨模态融合。为缓解占主导模态的 shortcut learning，我们提出了边际补充模块（MCM），通过双模态比较量化移除每个模态时的性能损失。所得的补充分布提供软监督，引导路由器聚焦于贡献唯一信息增益的模态。广泛实验表明，我们的方法在 CMU-MOSI、CMU-MOSEI、CH-SIMS、CH-SIMSv2 和 MIntRec 等基准上实现了优异性能。
引用
@article{arxiv.2603.13340,
title = {Complementarity-Supervised Spectral-Band Routing for Multimodal Emotion Recognition},
author = {Zhexian Huang and Bo Zhao and Hui Ma and Zhishu Liu and Jie Zhang and Ruixin Zhang and Shouhong Ding and Zitong Yu},
journal= {arXiv preprint arXiv:2603.13340},
year = {2026}
}