用于情感计算及其应用的端到端面部与生理模型
计算机视觉与模式识别
2020-01-22 v2 人机交互
摘要
近年来，情感计算及其应用已成为一个快速发展的研究课题。此外，深度学习的兴起相比经典方法在情绪识别系统中引入了显著改进。在这项工作中，我们提出了一种基于深度学习技术的多模态情绪识别模型，使用外周生理信号与面部表情的组合。此外，我们通过引入从我们内部的生物自编码器（BAE）中提取的潜在特征，对提出的模型进行了改进。两个模型均在 AMIGOS 数据集上训练和评估，报告效价、唤醒和情绪状态分类。最后，为展示使用深度学习技术的情感计算中的可能医学应用，我们将所提方法应用于焦虑治疗的评估。为此，通过记录每位患者的面部表情和外周信号（如心电图（ECG）和皮电反应（GSR））收集了一个缩减的多模态数据库。使用所提模型提取从治疗开始到结束的效价和唤醒估计，并对时间域中不同的情绪变化进行了成功评估。
引用
@article{arxiv.1912.04711,
title = {End-to-end facial and physiological model for Affective Computing and applications},
author = {Joaquim Comas and Decky Aspandi and Xavier Binefa},
journal= {arXiv preprint arXiv:1912.04711},
year = {2020}
}