中文

无需见任何深伪即可检测深伪

计算机视觉与模式识别 2023-11-03 v1 机器学习

摘要

深伪攻击(对含人媒体的恶意篡改)是社会严重关切的问题。常规深伪检测方法训练有监督分类器以区分真实媒体与已遇见的深伪。此类技术仅能检测与既往所见相似的深伪,而无法检测零日(此前未见)攻击类型。由于当前深伪生成技术以惊人速度演变,新攻击类型频繁出现,这成为主要问题。我们的主要观察是:i)在许多有效深伪攻击中,伪造媒体须伴随虚假事实,即关于人物身份、语音、动作或外观的断言。例如,在冒充奥巴马时,攻击者显式或隐式声称该伪造媒体展示的是奥巴马;ii)当前生成技术无法完美合成攻击者所声称的虚假事实。因此我们引入改编自假新闻检测的“事实核查”概念,用于检测零日深伪攻击。事实核查验证所声称事实(如身份为奥巴马)与观测媒体(如面孔确为奥巴马?)一致,从而区分真实与伪造媒体。据此我们引入 FACTOR,一种实用的深伪事实核查方法,并展示其在关键攻击场景中的威力:换脸与音视频合成。尽管它无需训练、仅依赖现成特征、极易实现且未见任何深伪,却取得了优于最先进方法的准确率。

关键词

引用

@article{arxiv.2311.01458,
  title  = {Detecting Deepfakes Without Seeing Any},
  author = {Tal Reiss and Bar Cavia and Yedid Hoshen},
  journal= {arXiv preprint arXiv:2311.01458},
  year   = {2023}
}

备注

Our code is available at https://github.com/talreiss/FACTOR