EmoBed：借助跨模态情感嵌入训练强化单模态情感识别
机器学习
2019-07-25 v1 人机交互
声音
音频与语音处理
摘要
尽管情感识别取得了显著进展，但它们严重受限于所采用单一模态本质上的有限特性，或受限于所有涉及的多模态同步存在的要求。受此启发，我们提出了一种称为 EmoBed 的新型跨模态情感嵌入框架，旨在利用来自其他辅助模态的知识来提升现有情感识别系统的性能。该框架一般包括两个主要学习组件，即联合多模态训练和跨模态训练。两者都倾向于探索潜在的语义情感信息，但分别通过共享识别网络或共享情感嵌入空间来实现。这样做，用该方法训练的增强系统能有效利用来自其他模态的互补信息。然而，在推理过程中并不需要这些辅助模态的存在。为了实证考察所提框架的有效性与鲁棒性，我们在两个基准数据库 RECOLA 和 OMG-Emotion 上分别针对维度情感回归和类别情感分类任务进行了大量实验。所得结果表明，所提框架在单模态推理上显著优于相关基线，并且也具有竞争力或优于近期报道的系统，这强调了所提跨模态学习对情感识别的重要性。
引用
@article{arxiv.1907.10428,
title = {EmoBed: Strengthening Monomodal Emotion Recognition via Training with Crossmodal Emotion Embeddings},
author = {Jing Han and Zixing Zhang and Zhao Ren and Björn Schuller},
journal= {arXiv preprint arXiv:1907.10428},
year = {2019}
}