多模态功能最大相关性用于情感识别
机器学习
2026-05-26 v2 人工智能
人机交互
摘要
情感状态在中枢系统和自主系统之间表现为协调但异构的生理响应，这构成了多模态表征学习在情感计算中面临的根本挑战。学习此类联合动力学更困难，因为情感标注稀缺且主观，促使采用自监督学习（SSL）。然而，大多数现有 SSL 方法依赖两两对齐目标，难以刻画超过两种模态之间的依赖，也无法捕捉由协调的脑部和自主反应引发的高阶相互作用。为此，我们提出多模态功能最大相关性（MFMC），一种原则化的 SSL 框架，通过基于 Dual Total Correlation（DTC）的目标最大化高阶多模态依赖。我们推导紧密的 sandwich 界限，并基于功能最大相关性分析（FMCA）的轨迹代理进行优化，MFMC 直接捕获联合多模态相互作用，无需依赖两两对比损失。实验在三个公开情感计算基准上表明，MFMC 在主观依赖和主观独立评估协议下均实现了最先进或有竞争力的性能，凸显其对跨主体变异的韧性。特别是，MFMC 将 CEAP-360VR 上主观依赖准确率从 78.9% 提升至 86.8%，主观独立准确率从 27.5% 提升至 33.1%（仅使用 EDA 信号）。在 MAHNOB-HCI 最具挑战性的 EEG 主观独立分割上，MFMC 距离最佳方法仅差 0.8 个百分点。我们的代码已公开于 https://github.com/DY9910/MFMC。
引用
@article{arxiv.2512.23076,
title = {Multimodal Functional Maximum Correlation for Emotion Recognition},
author = {Deyang Zheng and Tianyi Zhang and Wenming Zheng and Shujian Yu},
journal= {arXiv preprint arXiv:2512.23076},
year = {2026}
}
备注
manuscript accepted by IEEE Transactions on Affective Computing. Code is available at https://github.com/DY9910/MFMC