半监督贝叶斯深度多模态情感识别
人工智能
2017-04-26 v1 机器学习
机器学习
摘要
在情感识别中，仅使用单一模态难以识别人类的情感状态。此外，生理情感数据的标注成本特别高昂。这两个方面使得构建有效的情感识别模型极具挑战。本文首先构建了一个多视图深度生成模型，以模拟多模态情感数据的生成过程。通过在潜变量的后验近似上施加高斯混合假设，我们的模型能够从多个模态中学习共享的深度表征。为解决标注数据稀缺问题，我们进一步将多视图模型扩展到半监督学习场景，将半监督分类问题视为一种特殊的缺失数据插补任务。我们的半监督多视图深度生成框架能够利用来自多个模态的有标签和无标签数据，其中每个模态的权重因子可自动学习。与以往的情感识别方法相比，我们的方法更加鲁棒和灵活。在两个真实的多模态情感数据集上进行的实验证明了我们框架相对于多种竞争方法的优越性。
引用
@article{arxiv.1704.07548,
title = {Semi-supervised Bayesian Deep Multi-modal Emotion Recognition},
author = {Changde Du and Changying Du and Jinpeng Li and Wei-long Zheng and Bao-liang Lu and Huiguang He},
journal= {arXiv preprint arXiv:1704.07548},
year = {2017}
}