嘴唇不说谎：一种可泛化且鲁棒的面部伪造检测方法

尽管当前基于深度学习的面部伪造检测器在受限场景下取得令人印象深刻的性能，它们仍易受由未见操纵方法生成的样本攻击。一些近期工作展示了泛化性的提升，但依赖于易被压缩等常见后处理操作破坏的线索。本文提出 LipForensics，一种既能泛化至新颖操纵又能抵御各类失真的检测方法。LipForensics 针对许多生成视频中常见的嘴部运动高层语义不规则性。它首先预训练一个时空网络以执行视觉语音识别（唇读），从而学习与自然嘴部运动相关的丰富内部表征。随后，在真实与伪造数据的固定嘴部嵌入上微调一个时序网络，以基于嘴部运动检测假视频，而不对低层、特定操纵的伪影过拟合。大量实验表明，这一简单方法在泛化至未见操纵的鲁棒性以及抗扰动方面显著超越最先进水平，并揭示了导致其性能的因素。代码已在 GitHub 上提供。