基于对比学习的半监督面部动作单元强度估计

本文解决了利用少量标注图像估计面部动作单元（AU）强度的挑战性问题。与先前工作不同，我们的方法无需手动选取关键帧，且仅使用随机选取的$2\%$标注帧即可取得SOTA（最先进）结果。为此，我们提出一种半监督学习方法，其中结合特征提取器与时间模块的空间-时间模型分两阶段学习。第一阶段使用未标注视频数据集，基于对比学习获得面部行为动力学的强空间-时间表示。据我们所知，我们是首个以无监督方式在此框架上建模面部行为的工作。第二阶段使用另一随机选取标注帧的数据集，在我们的空间-时间模型上训练回归器以估计AU强度。我们表明，尽管随时间反向传播仅针对网络输出应用于极稀疏且随机选取的标注帧，得益于第一阶段的无监督预训练，我们的模型仍可有效训练以准确估计AU强度。我们通过实验验证，在DISFA与BP4D数据集上仅使用随机选取的$2\%$数据时，无需像先前方法仍要求的耗时精挑标注帧，我们的方法优于现有方法。