NeRFool：揭示可泛化神经辐射场在对抗扰动下的脆弱性
计算机视觉与模式识别
2025-01-07 v2
摘要
可泛化神经辐射场（GNeRF）因其跨场景泛化能力以及由此带来的在新场景上即时渲染的可能性，成为最具前景的新视角合成现实世界解决方案之一。尽管对抗鲁棒性对现实应用至关重要，但极少有研究致力于理解其在 GNeRF 上的影响。我们假设，由于 GNeRF 通过以来自新场景的源视图为条件实现，而这些视图通常从互联网或第三方提供者处获取，这引发了关于其现实应用潜在的新型安全担忧。同时，由于 GNeRF 的三维特性及独特多样的操作，现有对神经网络对抗鲁棒性的理解与解决方案可能不适用于 GNeRF。为此，我们提出 NeRFool，据我们所知，这是首个着手理解 GNeRF 对抗鲁棒性的工作。具体而言，NeRFool 揭示了关于 GNeRF 对抗鲁棒性的脆弱性模式与重要见解。基于从上述 NeRFool 获得的见解，我们进一步开发了 NeRFool+，其集成了两种能够有效跨广泛目标视图攻击 GNeRF 的技术，并提供了防御我们所提出攻击的准则。我们相信，我们的 NeRFool/NeRFool+ 为未来开发鲁棒的现实世界 GNeRF 解决方案奠定了初步基础。我们的代码可在 https://github.com/GATECH-EIC/NeRFool 获取。
引用
@article{arxiv.2306.06359,
title = {NeRFool: Uncovering the Vulnerability of Generalizable Neural Radiance Fields against Adversarial Perturbations},
author = {Yonggan Fu and Ye Yuan and Souvik Kundu and Shang Wu and Shunyao Zhang and Yingyan Celine Lin},
journal= {arXiv preprint arXiv:2306.06359},
year = {2025}
}
备注
Accepted by ICML 2023