其他计算机视觉任务与深度伪造检测的距离有多近？
计算机视觉与模式识别
2023-10-03 v1
摘要
在本文中，我们挑战了“有监督 ImageNet 训练模型具有强泛化性、适合作为深度伪造检测特征提取器”这一传统观念。我们提出一种新度量“模型可分性”，用于以可视化与定量方式评估模型在无监督情形下分离原始数据的能力。我们还提出一个系统性基准，用于借助预训练模型确定深度伪造检测与其他计算机视觉任务之间的相关性。我们的分析表明，预训练人脸识别模型比其他模型更贴近深度伪造检测。此外，采用自监督方法训练的模型比有监督训练的模型分离更有效。在小型深度伪造数据集上对所有模型微调后，我们发现自监督模型取得最佳结果，但存在过拟合风险。我们的结果为研究者和从业者开发更有效的深度伪造检测模型提供了有价值的见解。
引用
@article{arxiv.2310.00922,
title = {How Close are Other Computer Vision Tasks to Deepfake Detection?},
author = {Huy H. Nguyen and Junichi Yamagishi and Isao Echizen},
journal= {arXiv preprint arXiv:2310.00922},
year = {2023}
}
备注
Accepted to be Published in Proceedings of the IEEE International Joint Conference on Biometrics (IJCB 2023)