层次化混合专家：面向不完整与非同步输入的连续多模态情感识别
人机交互
2025-08-19 v4
摘要
多模态情感识别（MER）是人机交互的关键技术，但现实环境中的动态模态缺失与非同步问题严重限制了其鲁棒性。现有方法往往假设数据始终完整，或缺乏动态适应能力。为此，我们提出一种新型的层次化混合专家（Hi-MoE）框架，用于鲁棒的连续情感预测。该框架采用双层专家结构。模态专家库利用软路由机制动态处理缺失模态，实现稳健的信息融合。随后，情感专家库采用差分注意力路由灵活地注意情感原型，实现细粒度的情感表征。此外，跨模态对齐模块显式处理模态间的时间偏移与语义不一致。大量实验表明，在DEAP和DREAMER基准数据集上，我们的模型在连续情感回归任务中实现了最先进的性能，尤其在动态模态缺失与非同步采样等挑战条件下展现出卓越的鲁棒性。这一研究显著推动了面向复杂现实环境的智能情感系统的发展。
引用
@article{arxiv.2508.02133,
title = {Hierarchical MoE: Continuous Multimodal Emotion Recognition with Incomplete and Asynchronous Inputs},
author = {Yitong Zhu and Lei Han and Guanxuan Jiang and PengYuan Zhou and Yuyang Wang},
journal= {arXiv preprint arXiv:2508.02133},
year = {2025}
}