基于相关性损失深度多任务学习的多模态连续情绪识别
人机交互
2020-11-03 v1
摘要
在本研究中，我们聚焦于利用身体动作与语音信号进行连续情绪识别，以估计激活度、效价与支配度（AVD）属性。提出了一种半端到端网络架构，其中同时输入提取的特征与原始信号，且该网络使用多任务学习（MTL）而非最先进的单任务学习（STL）进行训练。此外，在训练过程中使用相关性损失——一致性相关系数（CCC）与皮尔逊相关系数（PCC）——作为优化目标。实验在 CreativeIT 与 RECOLA 数据库上进行，并使用 CCC 指标进行评估。为凸显 MTL、相关性损失与多模态的效果，我们分别比较了 MTL 与 STL 的性能、CCC 损失与均方根误差（MSE）损失及 PCC 损失的性能、多模态与单模态的性能。我们观察到 MTL 训练相较 STL 有显著性能提升，尤其是对效价的估计。此外，CCC 损失在 CreativeIT 上相较 MSE 损失实现了超过 7% 的 CCC 提升，在 RECOLA 上实现了 13% 的提升。
引用
@article{arxiv.2011.00876,
title = {Multimodal Continuous Emotion Recognition using Deep Multi-Task Learning with Correlation Loss},
author = {Berkay Köprü and Engin Erzin},
journal= {arXiv preprint arXiv:2011.00876},
year = {2020}
}
备注
6 pages,letter