GANmut：生成与修改面部表情

在情感合成领域，生成真实且细腻的面部表情的能力日益重要。GANmut 研究讨论了一种近期提出的先进 GAN 框架，该框架不依赖预定义标签，而是学习一个动态且可解释的情感空间。该方法将每个离散情感映射为从中性状态出发的向量，其幅度反映情感强度。本项目旨在通过在不同数据集、图像分辨率和面部检测方法上进行基准测试，来扩展对该框架的研究。这将涉及使用两个情感数据集进行一系列实验：Aff-Wild2 和 AffNet。Aff-Wild2 包含在非受控环境中捕获的视频，其中包括不同的摄像机角度、头部位置和光照条件，提供了现实世界的挑战。AffNet 提供带有情感标签的图像，提高了可用于训练的情感表达的多样性。前两个实验将专注于使用 Aff-Wild2 数据集训练 GANmut，并分别使用 RetinaFace 或 MTCNN（两者均为高性能深度学习人脸检测器）进行处理。此设置将有助于确定 GANmut 在挑战性条件下学习合成情感的能力，并评估这些面部检测技术的相对有效性。随后的两个实验将合并 Aff-Wild2 和 AffNet 数据集，结合 Aff-Wild2 的现实世界多样性与 AffNet 的多样化情感标签。将采用相同的人脸检测器 RetinaFace 和 MTCNN，以评估合并数据集的增强多样性是否提高了 GANmut 的性能，并比较每种面部检测方法在这种混合设置中的影响。