融合面部表情与外周生理信号解码个体化情感体验
计算机视觉与模式识别
2018-11-20 v1
摘要
在本文中，我们提出了一种多模态方法，用于同时分析面部运动和若干外周生理信号，以在考虑个体静息动态的情况下，解码正性与负性情绪情境下的个体化情感体验。我们提出了一种特定于人的递归网络来量化该人面部运动和生理数据中存在的动态。面部运动通过鲁棒的头部与三维面部标志点定位及跟踪方法表示，生理数据则通过提取与潜在情感体验相关的已知属性进行处理。随后，通过提取若干复杂递归网络度量来评估不同输入模态之间的动态耦合。在从响应中排除其静息动态后，使用这些度量作为特征训练推断模型，以预测个体在给定情境下的情感体验。我们使用一个多模态数据集验证了我们的方法，该数据集包含（i）面部视频和（ii）若干外周生理信号，同步记录自12名受试者在观看4段诱发情绪视频刺激时的数据。情感体验预测结果表明，与仅使用单一或子集输入模态的预测相比，我们的多模态融合方法将预测准确率提高了至多19%。此外，通过考虑个体化静息动态的影响，我们在情感体验预测上获得了改进。
引用
@article{arxiv.1811.07392,
title = {Facial Expression and Peripheral Physiology Fusion to Decode Individualized Affective Experience},
author = {Yu Yin and Mohsen Nabian and Miolin Fan and ChunAn Chou and Maria Gendron and Sarah Ostadabbas},
journal= {arXiv preprint arXiv:1811.07392},
year = {2018}
}
备注
2nd IJCAI Workshop on Artificial Intelligence in Affective Computing