用于事件辅助单眼表情识别的多模态协作优化与扩张网络
计算机视觉与模式识别
2025-05-23 v3
摘要
本文提出了一种多模态协作优化与扩张网络 (MCO-E Net)，用于抵抗单眼表情识别任务中低光、高曝光和高动态范围等挑战。MCO-E Net 引入了两种创新设计：多模态协作优化 Mamba (MCO-Mamba) 和异构协作扩张混合专家 (HCE-MoE)。MCO-Mamba 基于 Mamba，利用双模态信息联合优化模型，促进模态语义的协作交互与融合。该方法鼓励模型在两模态之间平衡学习，发挥各自的优势。HCE-MoE 则采用动态路由机制将结构各异的专家 (深层、注意力和焦点) 分配给不同任务，促进互补语义的协作学习。这种异构架构系统性地整合了多样化的特征提取范例，以全面捕获表情语义。大量实验表明，我们提出的网络在单眼表情识别任务中实现了具竞争力的性能，尤其在恶劣照明条件下表现尤为突出。
引用
@article{arxiv.2505.12007,
title = {Multi-modal Collaborative Optimization and Expansion Network for Event-assisted Single-eye Expression Recognition},
author = {Runduo Han and Xiuping Liu and Shangxuan Yi and Yi Zhang and Hongchen Tan},
journal= {arXiv preprint arXiv:2505.12007},
year = {2025}
}