一种多任务学习与生成框架：效价-唤醒度、动作单元与基本表情

过去几年中，许多研究工作致力于情感分析领域。已提出多种方法用于：i）基于基本面部表情的离散情感识别；ii）基于面部动作单元（AUs）的情感分析，假设固定的表情强度；iii）基于效价和唤醒度（VA）的维度情感分析。这些方法只有在利用大规模、适当标注的、展现人们在野外（即非受控环境）中行为的数据库进行开发时才能有效。Aff-Wild 是首个大规模野外数据库（包含约 1,200,000 帧、300 个视频），以 VA 进行标注。在绝大多数现有情感数据库中，其标注仅限于基本表情、或效价-唤醒度、或动作单元之一。在本文中，我们首先对 Aff-Wild 数据库的一部分（约 $234,000$ 帧）以 $8$ 个 AUs 进行标注，另一部分（约 $288,000$ 帧）以 $7$ 类基本情绪进行标注，从而使该数据库的各部分分别以 VA、以及 AUs 或基本表情进行标注。然后，我们建立并解决用于情感识别以及面部图像生成的多任务学习。多任务学习通过以下方式实现：i）具有共享隐藏层的深度神经网络，通过利用情感属性间的相互依赖关系进行学习；ii）生成对抗网络（GAN）的判别器。另一方面，图像生成通过 GAN 的生成器实现。针对这两项任务，我们精心设计了契合所考察设置的损失函数。实验结果表明，当应用于 Aff-Wild 数据库新标注的部分时，所提方法具有良好的性能。