DecentNeRFs：基于众包图像的去中心化神经辐射场
计算机视觉与模式识别
2024-04-01 v2 分布式、并行与集群计算
摘要
神经辐射场（NeRF）展现出将全球范围内捕获的图像转化为沉浸式3D视觉体验的潜力。然而，大部分捕获的视觉数据仍然孤立在我们的相机胶卷中，因为这些图像包含个人详细信息。即使公开，以集中方式学习每天捕获的数十亿个场景的3D表示在计算上也是不可行的。我们的方法DecentNeRF是首次尝试去中心化、众包的NeRF，对于一个场景，它所需的服务器计算量比集中式方法少约。我们的方法不发送原始数据，而是要求用户发送3D表示，从而在用户之间分摊训练集中式NeRF的高计算成本。它通过将用户的3D视图分解为个人NeRF和全局NeRF，并仅对后者进行新颖的最优加权聚合，来学习逼真的场景表示。我们在结构化合成和真实世界照片旅游数据集上验证了我们的方法在学习具有逼真度和最小服务器计算成本的NeRF方面的优势。我们进一步分析了DecentNeRF中全局NeRF的安全聚合如何最小化服务器对个人内容的不期望重建。
引用
@article{arxiv.2403.13199,
title = {DecentNeRFs: Decentralized Neural Radiance Fields from Crowdsourced Images},
author = {Zaid Tasneem and Akshat Dave and Abhishek Singh and Kushagra Tiwary and Praneeth Vepakomma and Ashok Veeraraghavan and Ramesh Raskar},
journal= {arXiv preprint arXiv:2403.13199},
year = {2024}
}