每个微笑都独一无二：基于 landmarks 引导的多样化微笑生成

每个微笑都是独特的：一个人 surely 以不同方式微笑（例如，闭合/睁开眼睛或嘴巴）。给定一张中性面孔的输入图像，我们能否生成具有独特特征的多个微笑视频？为解决这一一对多视频生成问题，我们提出一种名为条件多模态网络（CMM-Net）的新型深度学习架构。为更好地编码面部表情的动态，CMM-Net 显式利用面部 landmarks 来生成微笑序列。具体而言，使用变分自编码器学习面部 landmark 嵌入。然后，该单一嵌入被条件循环网络利用，该网络基于特定表情（例如，自发微笑）生成 landmark 嵌入序列。接下来，生成的 landmark 嵌入被输入多模态循环 landmark 生成器，产生一组仍关联于给定微笑类别但彼此明显不同的 landmark 序列。最后，这些 landmark 序列被转换为人脸视频。我们的实验结果证明了我们的 CMM-Net 在生成多个微笑表情的真实视频方面的有效性。