基于深度典型相关分析的多模态情绪识别
机器学习
2019-08-16 v1 计算机视觉与模式识别
摘要
多模态信号比单模态数据在情绪识别中更强大，因为它们能更全面地表示情绪。本文中，我们将深度典型相关分析（DCCA）引入多模态情绪识别。DCCA 背后的基本思想是通过使用指定的典型相关分析约束，分别转换每种模态并将不同模态协调到一个超空间中。我们在五个多模态数据集上评估 DCCA 的性能：SEED、SEED-IV、SEED-V、DEAP 和 DREAMER 数据集。我们的实验结果表明，DCCA 在所有五个数据集上均达到当前最优（state-of-the-art）识别准确率：SEED 数据集上 94.58%，SEED-IV 数据集上 87.45%，DEAP 数据集上两个二分类任务分别为 84.33% 和 85.62%、一个四分类任务为 88.51%，SEED-V 数据集上 83.08%，DREAMER 数据集上三个二分类任务分别为 88.99%、90.57% 和 90.67%。我们还在向 SEED-V 数据集添加不同量级噪声时，比较了 DCCA 与现有方法的噪声鲁棒性。实验结果表明 DCCA 具有更强的鲁棒性。通过使用 t-SNE 可视化特征分布并计算使用 DCCA 前后不同模态间的互信息，我们发现 DCCA 转换自不同模态的特征在情绪间更具同质性与判别性。
引用
@article{arxiv.1908.05349,
title = {Multimodal Emotion Recognition Using Deep Canonical Correlation Analysis},
author = {Wei Liu and Jie-Lin Qiu and Wei-Long Zheng and Bao-Liang Lu},
journal= {arXiv preprint arXiv:1908.05349},
year = {2019}
}