重新思考梯度算子以揭示 AI 生成的换脸伪造
计算机视觉与模式识别
2022-05-03 v1
摘要
在图像取证中，卷积神经网络（CNNs）倾向于学习内容特征而非细微的篡改痕迹，这限制了取证性能。现有方法主要遵循通用流程来解决上述挑战，即从预测像素值中减去原始像素值，使 CNNs 关注篡改痕迹。然而，由于复杂的学习机制，这些方法可能带来一些不必要的性能损失。在这项工作中，我们重新思考了梯度算子在揭示换脸伪造中的优势，并将梯度算子与 CNNs 结合设计了两个即插即用模块，即张量预处理（TP）和篡改痕迹注意力（MTA）模块。具体而言，TP 模块通过梯度算子细化网络中各通道的特征张量，以突出篡改痕迹并改善特征表示。此外，MTA 模块考虑通道和篡改痕迹两个维度，迫使网络学习篡改痕迹的分布。这两个模块可无缝集成到 CNNs 中进行端到端训练。实验表明，所提网络在五个公开数据集上取得了优于先前工作的结果。特别是，仅通过简单的张量细化，TP 模块相比现有预处理模块将准确率大幅提升了至少 4.60%。代码见：https://github.com/EricGzq/GocNet-pytorch。
引用
@article{arxiv.2205.00767,
title = {Rethinking Gradient Operator for Exposing AI-enabled Face Forgeries},
author = {Zhiqing Guo and Gaobo Yang and Dengyong Zhang and Ming Xia},
journal= {arXiv preprint arXiv:2205.00767},
year = {2022}
}