UIA-ViT：基于视觉变换器的无监督不一致感知人脸伪造检测方法
计算机视觉与模式识别
2022-10-25 v1
摘要
帧内不一致性已被证明对人脸伪造检测的可泛化性有效。然而，学习关注这些不一致性需要额外的像素级伪造位置标注。获取此类标注并非易事。一些现有方法生成带位置标注的大规模合成数据，其仅由真实图像组成，无法捕捉伪造区域的属性。另一些方法通过相减配对的真实与伪造图像来生成伪造位置标签，但此类配对数据难以收集且生成的标签通常不连续。为克服这些局限，我们提出一种新颖的基于视觉变换器(Vision Transformer)的无监督不一致感知方法，称为 UIA-ViT，其仅利用视频级标签且无需像素级标注即可学习不一致感知特征。得益于自注意力机制，块嵌入之间的注意力图自然表示一致性关系，使得视觉变换器适用于一致性表示学习。基于视觉变换器，我们提出两个关键组件：无监督块一致性学习(UPCL)与渐进一致性加权集成(PCWA)。UPCL 旨在利用渐进优化的伪标注学习一致性相关表示。PCWA 利用经 UPCL 优化的先前块嵌入增强最终分类嵌入，以进一步提升检测性能。大量实验证明了所提方法的有效性。
引用
@article{arxiv.2210.12752,
title = {UIA-ViT: Unsupervised Inconsistency-Aware Method based on Vision Transformer for Face Forgery Detection},
author = {Wanyi Zhuang and Qi Chu and Zhentao Tan and Qiankun Liu and Haojie Yuan and Changtao Miao and Zixiang Luo and Nenghai Yu},
journal= {arXiv preprint arXiv:2210.12752},
year = {2022}
}
备注
accepted by ECCV 2022 (oral)