面向开放世界深度伪造溯源的对比伪学习
计算机视觉与模式识别
2023-09-22 v1 人工智能
机器学习
摘要
由于生成技术的快速发展，伪造人脸的溯源挑战已引起广泛关注。尽管许多近期工作在GAN生成人脸方面迈出了重要步伐，但与身份交换或表情迁移相关的更具威胁性的攻击仍被忽视。并且隐藏在来自开放世界无标注人脸的未知攻击中的伪造痕迹仍未被充分探索。为推动相关前沿研究，我们引入一个名为开放世界深度伪造溯源（OW-DFA）的新基准，旨在评估开放世界场景下针对各类伪造人脸的溯源性能。同时，我们提出一种名为对比伪学习（CPL）的新颖框架用于OW-DFA任务，通过 1）引入全局-局部投票模块以引导具有不同篡改区域的伪造人脸的特征对齐，2）设计基于置信度的软伪标签策略以减轻无标注集中相似方法引起的伪噪声。此外，我们通过多阶段范式扩展CPL框架，利用预训练技术和迭代学习进一步增强可追溯性能。大量实验验证了我们所提方法在OW-DFA上的优越性，并展示了深度伪造溯源任务的可解释性及其对提升深度伪造检测领域安全性的影响。
引用
@article{arxiv.2309.11132,
title = {Contrastive Pseudo Learning for Open-World DeepFake Attribution},
author = {Zhimin Sun and Shen Chen and Taiping Yao and Bangjie Yin and Ran Yi and Shouhong Ding and Lizhuang Ma},
journal= {arXiv preprint arXiv:2309.11132},
year = {2023}
}
备注
16 pages, 7 figures, ICCV 2023