野外环境下的深度情感预测：Aff-Wild数据库与挑战、深度架构及更多
计算机视觉与模式识别
2019-02-04 v5 人工智能
人机交互
图像与视频处理
机器学习
摘要
利用视觉信号自动理解人类情感在日常人机交互中具有重要意义。评估真实世界环境中展示的人类情绪状态、行为与反应，可通过潜在的连续维度（如情感环状模型）来完成。效价（即情绪的正负程度）与唤醒度（即情绪激活的强度）构成了流行且有效的情感表征。然而，迄今为止大多数已收集的数据集虽包含自然情感状态，却是在高度受控的录制条件下获取的。本文引入Aff-Wild基准用于训练和评估情感识别算法。我们还报告了与CVPR 2017联合举办、基于Aff-Wild数据库的首届野外情感挑战赛的结果，该挑战赛是首个针对野外效价与唤醒度估计的赛事。此外，我们设计并充分训练了一种端到端深度神经架构，基于视觉线索预测连续情感维度。所提出的深度学习架构AffWildNet包含卷积与循环神经网络层，利用卷积特征的不变性，同时通过循环层建模人类行为中产生的时间动态。AffWildNet在Aff-Wild挑战赛上取得了最先进（SOTA）结果。随后我们利用AffWild数据库学习特征，这些特征可作为先验，在使用RECOLA、AFEW-VA和EmotiW数据集时，相比所有为实现同一目标而设计的其他方法，在维度式与范畴式情感识别上均取得最佳性能。数据库与情感识别模型可在 http://ibug.doc.ic.ac.uk/resources/first-affect-wild-challenge 获取。
引用
@article{arxiv.1804.10938,
title = {Deep Affect Prediction in-the-wild: Aff-Wild Database and Challenge, Deep Architectures, and Beyond},
author = {Dimitrios Kollias and Panagiotis Tzirakis and Mihalis A. Nicolaou and Athanasios Papaioannou and Guoying Zhao and Björn Schuller and Irene Kotsia and Stefanos Zafeiriou},
journal= {arXiv preprint arXiv:1804.10938},
year = {2019}
}