面向人脸伪造检测的广义零样本与少样本迁移

我们提出深度分布迁移（Deep Distribution Transfer，DDT），一种用于解决人脸伪造检测中零样本与少样本迁移问题的新迁移学习方法。我们考察了使用一种伪造生成方法（预）训练的模型，在泛化到此前未见过的操控技术或不同数据集时的表现。为促进该迁移，我们引入了一种基于混合模型的新损失公式，其学习一个多模态分布，各模态对应于源伪造方法底层数据的类别。我们的核心思想是首先预训练一个编码器神经网络，通过最小化分布模态与源域中相应类标签（即真实或伪造图像）之间的 Wasserstein 距离，将分布的每个模态映射到对应的类标签。为了将该模型迁移到新域，我们将少量目标样本与先前训练的某一模态相关联。此外，我们提出了一种空间混合增强策略，进一步有助于跨域泛化。我们发现，与传统分类甚至最先进的域适应/少样本学习方法相比，该学习策略在域迁移上出奇地有效。例如，在从 FaceForensics++ 迁移到 Dessa 数据集的零样本和少样本情形下，相比最佳基线，我们的方法将分类准确率分别提高了 4.88% 和 8.38%。