QA-MoE：面向稳健多模态情感分析的质量感知混合专家模型与连续可靠性谱
人工智能
2026-04-09 v2
摘要
多模态情感分析（MSA）旨在从文本、语音和视觉信号中推断人类情感。在实际场景中，多模态输入常常因动态噪声或模态缺失而受到影响。现有方法通常将这些缺陷视为离散情况，或假设固定的损坏比例，这限制了其对持续变化可靠性条件的适应性。为此，我们首先引入连续可靠性谱（Continuous Reliability Spectrum），将缺失性和质量退化统一到单一框架中。基于此，我们提出了QA-MoE（Quality-Aware Mixture-of-Experts），一种质量感知混合专家框架，通过自监督的aleatoric不确定性量化模态可靠性。该机制显式引导专家路由，使模型能够抑制不可靠信号的误差传播，同时保留任务相关信息。大量实验表明，QA-MoE 在多样化退化场景下实现了竞争甚至领先的性能，并在实际中展现出面向所有场景的单一检查点（One-Checkpoint-for-All）特性。
引用
@article{arxiv.2604.05704,
title = {QA-MoE: Towards a Continuous Reliability Spectrum with Quality-Aware Mixture of Experts for Robust Multimodal Sentiment Analysis},
author = {Yitong Zhu and Yuxuan Jiang and Guanxuan Jiang and Bojing Hou and Peng Yuan Zhou and Ge Lin Kan and Yuyang Wang},
journal= {arXiv preprint arXiv:2604.05704},
year = {2026}
}