使用蜕变测试评估深度伪造检测模型的公平性
计算机视觉与模式识别
2022-03-15 v1 软件工程
摘要
深度伪造检测模型在存在异常时的公平性尚未得到充分研究，尤其是当这些异常在男性或女性受试者中更为显著时。这项工作的主要动机是评估深度伪造检测模型在此类异常下的行为。然而，由于深度学习（DL）和人工智能（AI）系统的黑盒性质，很难预测当输入数据被修改时模型的性能。关键在于，如果这一缺陷未得到妥善解决，将对模型的公平性产生不利影响，并无意中导致对某些子群体的歧视。因此，本工作的目标是采用蜕变测试来检验所选深度伪造检测模型的可靠性，以及输入变化的变换如何影响输出。我们选择了最先进的深度伪造检测模型 MesoInception-4 作为目标模型，并以化妆作为异常。化妆通过使用 Dlib 库获取 68 个面部关键点，然后填充 RGB 值来施加。蜕变关系基于这样的概念推导：对男性和女性图像施加的现实扰动（如眼线、眼影、腮红和口红等常见化妆品外观）不应大幅改变模型的输出。此外，我们缩小范围以聚焦于揭示 DL 和 AI 系统中的潜在性别偏见。具体而言，我们旨在检验 MesoInception-4 模型是否产生不公平决策，这应被视为鲁棒性问题的后果。我们工作的发现有望为 DL 和 AI 系统质量保证与公平性的新研究方向铺平道路。
引用
@article{arxiv.2203.06825,
title = {Fairness Evaluation in Deepfake Detection Models using Metamorphic Testing},
author = {Muxin Pu and Meng Yi Kuan and Nyee Thoang Lim and Chun Yong Chong and Mei Kuan Lim},
journal= {arXiv preprint arXiv:2203.06825},
year = {2022}
}
备注
8 pages, accepted at 7th International Workshop on Metamorphic Testing (MET22)