基于对抗的神经网络的野外情感估计

鉴于情感计算在连接人与计算机中的关键作用，当今对其研究兴趣日益增长。由于更大数据集的出现，这一进展近来加速。该领域近期的一项进展是利用对抗学习通过增广样本改进模型学习。然而，可通过对抗学习实现的潜在特征的使用尚未被充分探索。正如在计算机视觉等相关领域所类比展示的，该技术也可能提升情感模型的性能。为拓展此分析，在本工作中，我们探索通过我们提出的基于对抗的网络使用潜在特征进行野外效价与唤醒度识别。具体而言，我们的模型通过将若干模态聚合到判别器中来运作，该判别器进一步以生成器提取的潜在特征为条件。我们在最近发布的 SEWA 数据集上的实验表明了结果的逐步改进。最后，我们展示了在野外情感行为分析（ABAW）挑战数据集上具有竞争力的结果。