$S^2$NeRF：面向NeRF的隐私保留训练框架
密码学与安全
2024-09-04 v1 计算机视觉与模式识别
机器学习
摘要
神经光照场（NeRF）已彻底改变了3D计算机视觉和图形学领域，推动了新视角合成，并影响了延伸现实和电子商务等行业。然而，NeRF 依赖大量数据收集，包括敏感的场景图像数据，当用户上传这些数据进行模型训练时，存在显著的隐私风险。为此，我们首先提出 SplitNeRF，一种采用分段学习（Split Learning, SL）技术的训练框架，使客户端和服务器在不共享本地数据的情况下进行协作式模型训练。尽管SplitNeRF具有上述优势，我们通过构建两种攻击方法——替代模型攻击和场景引导的替代模型攻击——识别了SplitNeRF的漏洞，这些攻击利用共享的梯度数据以及少量泄露的场景图像来重建私人场景信息。为抵御这些威胁，我们引入 NeRF，即 secure SplitNeRF，通过引入与梯度范数相关的衰减噪声到共享梯度信息中，NeRF 在保持NeRF模型高实用性的同时，实现了隐私保护。我们的广泛评估表明，NeRF 在多个数据集上均有效抵御了隐私泄露，证明其在敏感应用场景中可行。
引用
@article{arxiv.2409.01661,
title = {$S^2$NeRF: Privacy-preserving Training Framework for NeRF},
author = {Bokang Zhang and Yanglin Zhang and Zhikun Zhang and Jinglan Yang and Lingying Huang and Junfeng Wu},
journal= {arXiv preprint arXiv:2409.01661},
year = {2024}
}
备注
To appear in the ACM Conference on Computer and Communications Security (CCS'24), October 14-18, 2024, Salt Lake City, UT, USA