面向情感识别的鲁棒不完整多模态低秩适应方法
计算机视觉与模式识别
2026-03-10 v1 人工智能
机器学习
摘要
多模态情感识别（MER）在实际应用中常因传感器故障或隐私保护要求而遭遇不完整多模态问题。虽然已有方法通过平衡每个模态组合的训练来解决各种不完整多模态情形，但这些方法面临一个关键限制：来自不同模态组合的训练梯度相互冲突，最终降低最终预测模型的性能。本文提出一种基于模态组合的单模态解耦动态低秩适应方法，命名为 MCULoRA，这是一种用于不完整多模态学习模型的参数高效训练框架。MCULoRA 包含两个关键模块：模态组合感知低秩适应（MCLA）和动态参数微调（DPFT）。MCLA 模块有效地解耦了共享信息与单个模态组合特征的差异性。DPFT 模块根据每个模态表示空间的可分离性调整模态组合的训练比例，优化了不同模态组合下的学习效率。我们在多个基准数据集上进行了大量实验评估，证明 MCULoRA 在下游任务准确率上显著优于之前的不完整多模态学习方法。
引用
@article{arxiv.2507.11202,
title = {A Robust Incomplete Multimodal Low-Rank Adaptation Approach for Emotion Recognition},
author = {Xinkui Zhao and Jinsong Shu and Yangyang Wu and Guanjie Cheng and Zihe Liu and Naibo Wang and Shuiguang Deng and Zhongle Xie and Jianwei Yin},
journal= {arXiv preprint arXiv:2507.11202},
year = {2026}
}