基于眼睛的连续情感预测
人机交互
2020-01-24 v2 计算机视觉与模式识别
摘要
基于眼睛的信息通道包括瞳孔、注视、扫视、注视微动以及多种睁眼与闭眼形式。瞳孔大小变化指示认知负荷与情绪，而人的注视方向被认为与趋近或回避刺激动机一致。眼睑参与可编码基本情绪的面部表情。此外，基于眼睛的线索对人类情感或感受标注者具有意义。尽管有这些事实，基于眼睛的线索在情感计算中的应用仍处于起步阶段，本文旨在开始弥补此不足。我们提出了可从视频估计、融合上述所有信息通道数据的基于眼睛的特征集。通过在 RECOLA 验证集上的连续唤醒度与效价学习及预测实验实现特征集精炼。随后将基于眼睛的特征与语音特征集结合，以确认其实用性，并在 RECOLA 测试集上相较人类群体水平评估情感预测性能。本文核心贡献——精炼的基于眼睛的特征集——被证明对情感预测有益。希望本工作能激发对基于眼睛的情感计算的进一步研究。
引用
@article{arxiv.1907.09896,
title = {Eye-based Continuous Affect Prediction},
author = {Jonny O'Dwyer and Niall Murray and Ronan Flynn},
journal= {arXiv preprint arXiv:1907.09896},
year = {2020}
}
备注
Accepted paper (pre-print) for 2019 8th International Conference on Affective Computing and Intelligent Interaction (ACII)