面向可泛化深度伪造检测的局部感知自编码器
计算机视觉与模式识别
2020-09-22 v2
摘要
随着深度学习技术的进步，如今已可生成超逼真的图像与视频，即深度伪造（deepfakes）。这些深度伪造可能触达广大受众并对社会产生不利影响。尽管已有大量工作致力于检测深度伪造，但其性能在先前未见但相关的篡改操作上显著下降，检测的泛化能力仍是一大问题。受深度伪造细粒度特性与空间局部性特征的启发，我们提出局部感知自编码器（Locality-Aware AutoEncoder, LAE）以弥合泛化差距。在训练过程中，我们使用逐像素掩码对LAE的局部解释进行正则化，迫使模型从伪造区域学习内在表示，而非捕捉训练集中的伪影并学习表面相关性来进行检测。我们进一步提出一种主动学习框架以筛选具挑战性的候选样本进行标注，仅需不到3%的训练数据的人工地掩码，大幅降低了正则化解释所需的标注工作量。在三项深度伪造检测任务上的实验结果表明，LAE能够聚焦于伪造区域做出决策。分析进一步表明，在先前未见篡改操作的泛化准确率上，LAE分别以6.52%、12.03%和3.08%的优势超越最先进（state-of-the-art）方法。
引用
@article{arxiv.1909.05999,
title = {Towards Generalizable Deepfake Detection with Locality-aware AutoEncoder},
author = {Mengnan Du and Shiva Pentyala and Yuening Li and Xia Hu},
journal= {arXiv preprint arXiv:1909.05999},
year = {2020}
}
备注
Accepted by CIKM 2020