用于情感计算的多模态方法
人机交互
2018-06-22 v2
摘要
在过去十年中，许多研究仅使用单一感知模态（如人脸视频、脑电图（EEG）、心电图（ECG）、皮肤电反应（GSR）等）对人类情感进行分类。这些研究的结果受限于这些模态的不足，例如人脸视频分析缺乏生理生物标记、EEG 空间分辨率差、GSR 时间分辨率差等。很少有研究比较这些模态的优劣并理解如何最好地单独及联合使用它们。利用多模态 AMIGOS 数据集，本研究比较了将多种计算方法应用于人脸视频和各种生物传感模态时人类情感分类的性能。通过使用一种补偿生理基线的新方法，我们展示了所用各种方法分类准确率的提升。最后，我们在情感计算研究领域提出了一种多模态情感分类方法。
引用
@article{arxiv.1804.09452,
title = {Multi-modal Approach for Affective Computing},
author = {Siddharth Siddharth and Tzyy-Ping Jung and Terrence J. Sejnowski},
journal= {arXiv preprint arXiv:1804.09452},
year = {2018}
}
备注
Published in IEEE 40th International Engineering in Medicine and Biology Conference (EMBC) 2018