用于善意的Deepfake：通过隐式Deepfake生成进行换脸以创建虚拟形象
计算机视觉与模式识别
2024-12-03 v2
摘要
众多新兴的深度学习技术对计算机图形学产生了重大影响。其中最有希望的突破是神经辐射场和Gaussian Splatting（GS）的兴起。NeRF使用少量具有已知相机位置的图像将物体的形状和颜色编码在神经网络权重中，以生成新视角。相比之下，GS通过将物体的特征编码在一系列高斯分布中，在不降低渲染质量的情况下提供了加速的训练和推理。这两种技术在空间计算和其他领域都有许多用例。另一方面，deepfake方法的出现引发了相当大的争议。Deepfake指的是密切模仿真实镜头的人工智能生成视频。使用生成模型，它们可以修改面部特征，从而能够创建 altered 身份或表情，对真人展现出极其逼真的外观。尽管存在这些争议，但在质量理想的情况下，deepfake可以为虚拟形象创建和游戏提供下一代解决方案。为此，我们展示了如何结合所有这些新兴技术以获得更合理的结果。我们的ImplicitDeepfake使用经典的deepfake算法分别修改所有训练图像，然后在修改后的面部上训练NeRF和GS。这种简单的策略可以生成基于3D deepfake的合理虚拟形象。
引用
@article{arxiv.2402.06390,
title = {Deepfake for the Good: Generating Avatars through Face-Swapping with Implicit Deepfake Generation},
author = {Georgii Stanishevskii and Jakub Steczkiewicz and Tomasz Szczepanik and Sławomir Tadeja and Jacek Tabor and Przemysław Spurek},
journal= {arXiv preprint arXiv:2402.06390},
year = {2024}
}