通过双分支再平衡缓解多模态情感分析中的共享-私有分支不平衡
多媒体
2026-04-29 v1
摘要
多模态情感分析 (MSA) 需要在不牺牲语言、声学和视觉信号的模特化情感证据的同时进行整合。现有方法主要改进共享-私有分解或跨模态交互。虽然有效，但两者最终都取决于共享和模特化证据在预测之前的组织方式。我们观察到，在标准的共享-私有管道下，模态异构性常常诱导一种分支不平衡过程：dominant shared patterns 在共享分支中累积，导致冗余和模态偏向的证据，而反复的交互和刚性对齐逐渐将共享信息泄漏到模态专门渠道中，削弱判别性私有表征。结果是，共享与私有表征之间的 complementarity 降低，限制了稳健情感推理。为解决这一问题，我们在标准的多模态解耦阶段之上提出了双分支再平衡框架 (DBR)。在共享分支中，一个时序-结构分解 (TSF) 模块分离时间演化与结构依赖，并自适应地将它们整合以减少共享冗余。在私有分支中，一个锚导私有路由 (AGPR) 模块在保持判别性模态专门模式的同时允许受控的跨模态借用。然后，一个双向再平衡融合 (BRF) 模块以情境感知的方式重新统一这两个正规化的分支以进行最终预测。在 CMU-MOSI、CMU-MOSEI 和 MIntRec 上的大量实验表明，DBR 持续地优于与之比较的基线。进一步的分析显示，这些改进源于对分支不平衡的协调缓解。
引用
@article{arxiv.2604.25179,
title = {Mitigating Shared-Private Branch Imbalance via Dual-Branch Rebalancing for Multimodal Sentiment Analysis},
author = {Chunlei Meng and Jiabin Luo and Pengbin Feng and Zhenglin Yan and Chengyin Hu and Zhongxue Gan and Chun Ouyang},
journal= {arXiv preprint arXiv:2604.25179},
year = {2026}
}
备注
Under Review