DFREC：基于身份感知掩码自编码器的 DeepFake 身份恢复
计算机视觉与模式识别
2025-03-06 v2
摘要
深度伪造取证领域的最新进展主要集中在提高分类准确率和泛化性能上。尽管在多种伪造算法的检测准确率上取得了巨大进展，但现有算法缺乏直观的解释性和身份可追溯性来帮助取证调查。在本文中，我们提出了一种新颖的深度伪造身份恢复方案 (DFREC) 来填补这一空白。DFREC 旨在从深度伪造图像中恢复源身份和目标身份人脸对，以促进深度伪造身份追踪并降低深度伪造攻击的风险。它包含三个关键组件：身份分割模块 (ISM)、源身份重建模块 (SIRM) 和目标身份重建模块 (TIRM)。ISM 将输入人脸分割为不同的源身份和目标身份信息，SIRM 利用分割后的源身份信息重建源人脸并提取潜在的目标身份特征。背景上下文和潜在目标身份特征由 TIRM 中的掩码自编码器协同融合以重建目标人脸。我们在 FaceForensics++、CelebaMegaFS 和 FFHQ-E4S 数据集上对六种不同的高保真人脸替换攻击评估了 DFREC，结果表明其恢复性能优于最先进的深度伪造恢复算法。此外，DFREC 是唯一能够直接从伪造图像中以高保真度恢复原始源身份和目标身份人脸的方案。
引用
@article{arxiv.2412.07260,
title = {DFREC: DeepFake Identity Recovery Based on Identity-aware Masked Autoencoder},
author = {Peipeng Yu and Hui Gao and Jianwei Fei and Zhitao Huang and Zhihua Xia and Chip-Hong Chang},
journal= {arXiv preprint arXiv:2412.07260},
year = {2025}
}