通过对抗学习控制多模态情绪分类中的混杂因素

多种心理因素会影响个体表达情绪的方式。然而,当我们收集旨在用于构建情绪识别系统的数据时,常试图通过设计仅聚焦于诱发情绪行为的范式来进行。使用这类数据训练的算法不太可能在受控环境之外发挥作用,因为我们的情绪会随这些其他因素自然变化。在本工作中,我们研究个体处于不同压力水平时情绪的多模态表达如何变化。我们假设压力产生的调制会掩盖个体的真实潜在情绪,并且可以通过控制压力变化使情绪识别算法更具泛化性。为此,我们使用对抗网络将压力调制与情绪表征去相关。我们研究压力如何改变声学与词汇情绪预测,特别关注由压力引起的调制如何影响所学情绪识别模型跨领域的可迁移性。我们的结果表明,压力确实被编码于训练好的情绪分类器中,且这种编码随情绪水平以及词汇与声学模态的不同而变化。我们的结果还表明,与训练时未控制压力的模型相比,训练时控制压力的情绪识别模型应用于新领域时具有更好的泛化性。我们得出结论:在构建和测试情绪识别模型时,有必要考虑额外心理因素的作用。