由人类群体、机器及机器辅助群体进行的Deepfake检测
计算机视觉与模式识别
2022-02-28 v2 人工智能
摘要
近期出现的机器操纵媒体提出了一个重要的社会问题：我们如何知晓所观看的视频是真实还是伪造？在两项共有15016名参与者的在线研究中，我们呈现真实视频与deepfake，并要求参与者辨别孰真孰假。我们将普通人类观察者的表现与领先的计算机视觉deepfake检测模型进行比较，发现二者准确度相近但所犯错误类型不同。总体而言，能获取模型预测的参与者比单独任一方更准确，但不准确的模型预测常降低参与者的准确度。为探究人类与机器作为deepfake检测者的相对优势与弱点，我们考察了人类与机器在视频级特征上的表现，并评估了预先注册的随机干预对deepfake检测的影响。我们发现，旨在扰乱面部视觉处理的操纵损害了人类参与者的表现，而基本不影响模型表现，这表明专门认知能力在解释人类deepfake检测表现中起作用。
引用
@article{arxiv.2105.06496,
title = {Deepfake Detection by Human Crowds, Machines, and Machine-informed Crowds},
author = {Matthew Groh and Ziv Epstein and Chaz Firestone and Rosalind Picard},
journal= {arXiv preprint arXiv:2105.06496},
year = {2022}
}