基于大规模标注数据库的深度伪造检测公平性分析
计算机视觉与模式识别
2024-03-12 v4 计算机与社会
机器学习
摘要
近年来，利用深度伪造（Deepfake）进行的图像和视频篡改已成为社会与安全领域的严重隐患。已有许多检测模型与数据集被提出以可靠地检测 Deepfake 数据。然而，人们日益担忧这些模型与训练数据库可能存在偏见，从而导致 Deepfake 检测器失效。本工作中，我们通过（a）为五个流行的 Deepfake 数据集创建包含 47 种不同属性的大规模人口统计与非人口统计属性标注，以及（b）全面分析在这些数据集上三种最先进（SOTA）Deepfake 检测骨干模型产生 AI 偏见的属性，来研究公开 Deepfake 数据集中导致有偏检测的因素。该分析展示了各类属性如何影响检测性能上大量各异的属性（来自超过 65M 个标签），其中包括人口统计属性（年龄、性别、族裔）与非人口统计属性（头发、皮肤、配饰等）。对所考察数据集的结果显示其多样性有限，且更重要的是，表明所采用的 Deepfake 检测骨干模型受所考察属性的强烈影响，使其在各项属性间并不公平。在此类不平衡/有偏数据集上训练的 Deepfake 检测骨干方法会产生错误的检测结果，导致泛化性、公平性与安全性问题。我们的发现与标注数据集将引导未来研究评估并缓解 Deepfake 检测技术中的偏见。标注数据集与相应代码已公开可用。
引用
@article{arxiv.2208.05845,
title = {Analyzing Fairness in Deepfake Detection With Massively Annotated Databases},
author = {Ying Xu and Philipp Terhörst and Kiran Raja and Marius Pedersen},
journal= {arXiv preprint arXiv:2208.05845},
year = {2024}
}