RoHyDR：用于不完整多模态情感识别的鲁棒混合扩散恢复
计算机视觉与模式识别
2025-05-26 v1 人工智能
机器学习
摘要
多模态情感识别通过结合来自多个来源的数据来分析情感。然而，现实世界的噪声或传感器故障常常导致数据缺失或损坏，造成不完整多模态情感识别（IMER）挑战。本文提出鲁棒混合扩散恢复（RoHyDR）框架，该框架在单模态、多模态、特征和语义水平上执行缺失模态恢复。对于单模态表示的缺失模态恢复，RoHyDR 利用基于扩散的生成器从高斯噪声生成分布一致且语义对齐的表示，利用可用模态作为条件。对于多模态融合恢复，我们引入对抗学习以产生逼真的融合多模态表示并恢复缺失的语义内容。我们进一步提出了多阶段优化策略以增强训练稳定性和效率。与以往工作不同，RoHyDR 中混合扩散和对抗学习基于恢复的机制允许在单模态表示和多模态融合方面的特征和语义水平上恢复缺失信息，有效缓解由于次优优化导致的性能下降。在两个广泛使用的多模态情感识别基准测试上进行的全面实验表明，我们提出的方法在各种缺失模态情景下均优于状态-of-the-art IMER 方法，实现了鲁棒的识别性能。我们的代码将在接受后公开。
引用
@article{arxiv.2505.17501,
title = {RoHyDR: Robust Hybrid Diffusion Recovery for Incomplete Multimodal Emotion Recognition},
author = {Yuehan Jin and Xiaoqing Liu and Yiyuan Yang and Zhiwen Yu and Tong Zhang and Kaixiang Yang},
journal= {arXiv preprint arXiv:2505.17501},
year = {2025}
}