用于序列人脸对齐的循环编码器 - 解码器网络

我们提出了一种新颖的循环编码器 - 解码器网络模型，用于基于视频的实时人脸对齐。我们提出的模型预测由回归损失正则化的 2D 面部点图，同时独特地利用空间和 temporal 维度的循环学习。在空间层面，我们在组合输出响应图和输入之间添加了一个反馈回路连接，以便使用单个网络模型实现迭代式的由粗到精的人脸对齐。在时间层面，我们首先将网络瓶颈中的特征解耦为时间变化因子（如姿态和表情）和时间不变因子（如身份信息）。然后将时间循环学习应用于解耦的时间变化特征，从而在测试时产生更好的泛化能力和显著更准确的结果。我们进行了全面的实验分析，展示了我们提出的模型各组成部分的重要性，以及在标准数据集上优于最先进方法的结果。