遮蔽不可见之物:通过空间形变投毒 NeRF 实现隐私保护
计算机视觉与模式识别
2023-10-06 v1
摘要
在本文中,我们介绍了一种针对神经辐射场(Neural Radiance Fields, NeRF)模型生成能力来保护用户隐私的创新方法。我们新颖的投毒攻击方法对观测视图施加人眼难以察觉的改变,却足以破坏 NeRF 精确重建 3D 场景的能力。为此,我们设计了一种结合基于投影梯度下降(Projected Gradient Descent, PGD)的空间形变的双层优化算法。我们在两个常见的 NeRF 基准数据集上广泛测试了我们的方法,这些数据集包含 29 个具有高质量图像的真实世界场景。我们的结果有力地证明,我们的隐私保护方法在这些基准数据集上显著削弱了 NeRF 的性能。此外,我们表明我们的方法具有适应性和通用性,可在不同的扰动强度和 NeRF 架构下运作。本工作为 NeRF 的脆弱性提供了有价值的见解,并强调在开发鲁棒的 3D 场景重建算法时有必要考量此类潜在的隐私风险。我们的研究有助于围绕负责任 AI 与生成式机器学习的更广泛讨论,旨在数字时代保护用户隐私并尊重创作所有权。
引用
@article{arxiv.2310.03125,
title = {Shielding the Unseen: Privacy Protection through Poisoning NeRF with Spatial Deformation},
author = {Yihan Wu and Brandon Y. Feng and Heng Huang},
journal= {arXiv preprint arXiv:2310.03125},
year = {2023}
}