面向高效人脸伪造检测的一分为二知识蒸馏
计算机视觉与模式识别
2023-02-22 v1
摘要
人脸伪造检测是一个关键但极具挑战性的课题，伪造技术的快速发展使得合成伪影高度难以分辨。已有工作表明，通过挖掘空间与频率信息可大幅提升深度学习模型的人脸伪造检测性能。然而，利用多类信息通常需要在神经网络中设置不止一个分支，致使模型沉重且繁琐。知识蒸馏作为高效建模的重要技术，或可提供解决思路。我们发现现有知识蒸馏方法难以将双分支模型蒸馏为单分支模型。更具体地，在空间与频率分支上同时进行知识蒸馏的性能反而不及仅在空间分支上蒸馏。为解决该问题，我们提出一种新颖的一分为二知识蒸馏框架，借助不同的专用特征投影器与梯度均质化技术，可将大型双分支网络的信息平滑融合进小型单分支网络。在 FaceForensics++ 与 Celeb-DF 两个数据集上的实验分析表明，我们所提框架以远少得多的参数量实现了更优的人脸伪造检测性能。
引用
@article{arxiv.2302.10437,
title = {Two-in-one Knowledge Distillation for Efficient Facial Forgery Detection},
author = {Chuyang Zhou and Jiajun Huang and Daochang Liu and Chengbin Du and Siqi Ma and Surya Nepal and Chang Xu},
journal= {arXiv preprint arXiv:2302.10437},
year = {2023}
}