通过深度迁移学习将情绪与行为关联
机器学习
2019-10-10 v1 计算与语言
人机交互
音频与语音处理
摘要
人类行为是指人类行动与互动的方式。理解人类行为是观察性实践的基石，尤其在心理治疗中。行为分析的一个重要线索是会话过程中情绪的动态变化。领域专家以高度非线性的方式整合情绪信息，因此明确量化情绪与行为之间的关系具有挑战性。在本工作中，我们采用深度迁移学习来分析其推断能力与上下文重要性。我们首先训练一个网络从声学信号量化情绪，然后将情绪识别网络的信息用作行为识别的特征。我们将这种情绪相关信息视为行为基元，并进一步训练更高层以朝向行为量化。通过我们的分析，我们发现情绪相关信息是行为识别的重要线索。此外，我们通过约束（或不约束）神经网络对数据的上下文视野，研究了情绪上下文在行为表达中的重要性。这表明情绪序列在行为表达中至关重要。为实现这些框架，我们采用卷积网络与循环网络的混合架构来提取情绪相关的行为基元，并促进从语音中自动识别行为。
引用
@article{arxiv.1910.03641,
title = {Linking emotions to behaviors through deep transfer learning},
author = {Haoqi Li and Brian Baucom and Panayiotis Georgiou},
journal= {arXiv preprint arXiv:1910.03641},
year = {2019}
}
备注
23 pages, 8 figures