基于 ViT 混合架构的 GAN 图像篡改开放集分类
计算机视觉与模式识别
2023-04-12 v1
摘要
为区分不同类型的篡改，AI 生成内容的分类正受到极大关注。目前大多数已有方法在开放集场景下失效，即训练集中未包含用于篡改的算法。本文关注开放集场景下合成人脸生成与篡改的分类，并提出一种带拒绝选项的分类方法。所提方法将 Vision Transformers (ViT) 的使用与一种用于同步分类与定位的混合方法相结合。ViT 模块利用特征图相关性，而定位分支作为一种注意力机制，在图像中局部实施篡改时迫使模型学习与该伪造相关的逐类判别特征。通过考虑多种策略并分析模型输出层来实现拒绝。所提方法在人脸属性编辑分类与 GAN 溯源任务上的有效性得到了评估。
引用
@article{arxiv.2304.05212,
title = {Open Set Classification of GAN-based Image Manipulations via a ViT-based Hybrid Architecture},
author = {Jun Wang and Omran Alamayreh and Benedetta Tondi and Mauro Barni},
journal= {arXiv preprint arXiv:2304.05212},
year = {2023}
}