从人类情感的标签关系中学习

以自动化方式估计人类情感与精神状态面临若干困难，包括从时间分辨率差或无时间分辨率的标签中学习、从数据稀少（常因保密限制）的少数数据集中学习，以及处理（非常）长的野外视频。出于这些原因，深度学习方法往往过拟合，即在最终回归任务上得到泛化性能差的潜在表示。为克服此问题，本文提出两项互补贡献。首先，我们针对多标签回归与有序问题提出一种新颖的关系损失，可正则化学习并带来更好的泛化。所提损失利用标签向量间的相互关系，通过将批次标签距离与潜在特征空间中的距离对齐来学习更好的潜在表示。其次，我们采用两阶段注意力架构，利用邻近片段的特征作为时间上下文来估计每个片段的目标。我们在连续情感与精神分裂症严重程度估计问题上评估所提方法，因为二者在方法与情境上存在平行之处。实验结果表明所提方法优于所有基线。在精神分裂症领域，所提方法大幅优于先前最先进水平，达到最高78%的PCC，性能接近人类专家（85%）且远高于先前工作（提升高达40%）。在情感识别方面，我们在OMG与AMIGOS数据集上以CCC计优于先前基于视觉的方法。具体而言，在AMIGOS上，我们对唤醒度与效价的先前SoTA CCC分别提升9%与13%；在OMG数据集上，我们对唤醒度与效价的先前视觉工作提升高达5%。