换脸视频的视觉真实感评估
计算机视觉与模式识别
2023-08-01 v2
摘要
基于深度学习的换脸视频，亦称深度伪造（deep fakes），正变得愈发真实且具有欺骗性。这些换脸视频的恶意使用已引发广泛担忧。研究界一直聚焦于这类伪造视频的自动检测，但由其人眼所感知的视觉真实感评估仍属未探索的维度。视觉真实感评估（VRA）对于评估特定换脸视频可能带来的潜在影响至关重要，同时作为质量评估指标以比较不同换脸方法也十分重要。在本文中，我们朝这一新 VRA 方向迈出一小步，构建了评估不同自动 VRA 模型有效性的基准，这些模型涵盖从传统手工特征到各类深度学习特征。评估基于近期名为 DFGC 2022 的竞赛数据集，其包含 1400 段多样的换脸视频，并标注了视觉真实感的均值意见分（MOS）。我们展示并讨论了使用 11 个模型与 3 种协议的全面实验结果。我们证明了设计有效 VRA 模型以评估换脸视频及方法的可行性，并指出了现有深度伪造检测特征对 VRA 的特殊效用。代码见 https://github.com/XianyunSun/VRA.git。
引用
@article{arxiv.2302.00918,
title = {Visual Realism Assessment for Face-swap Videos},
author = {Xianyun Sun and Beibei Dong and Caiyong Wang and Bo Peng and Jing Dong},
journal= {arXiv preprint arXiv:2302.00918},
year = {2023}
}
备注
Accepted by ICIG 2023