情感识别中多模态特征、分类器与融合方法的研究
计算机视觉与模式识别
2018-09-18 v1 人工智能
摘要
自动情感识别是一项具有挑战性的任务。本文展示了我们针对2018年自然场景情感识别（EmotiW）挑战赛音视频子赛道所做的努力，该赛道要求参与者从六种通用情感（愤怒、厌恶、恐惧、高兴、悲伤和惊讶）及中性中为视频片段赋予单一情感标签。所提出的多模态情感识别系统综合考虑了音频、视频与文本信息。除手工特征外，我们还通过迁移学习从深度神经网络（DNNs）中提取瓶颈特征。评估了时间分类器与非时间分类器以获得最佳单模态情感分类结果。随后提取可能性并传入波束搜索融合（BS-Fusion）。我们在EmotiW 2018挑战赛中测试了该方法并取得有前景的结果。与基线系统相比有显著提升。我们在测试集上达到了60.34%的准确率，仅比冠军低1.5%。这表明我们的方法极具竞争力。
引用
@article{arxiv.1809.06225,
title = {Investigation of Multimodal Features, Classifiers and Fusion Methods for Emotion Recognition},
author = {Zheng Lian and Ya Li and Jianhua Tao and Jian Huang},
journal= {arXiv preprint arXiv:1809.06225},
year = {2018}
}
备注
9 pages, 11 figures and 4 Tables. EmotiW2018 challenge