Fed3DGS:基于联邦学习的可扩展三维高斯泼溅
计算机视觉与模式识别
2024-03-19 v1
摘要
在这项工作中,我们提出了Fed3DGS,一个基于三维高斯泼溅(3DGS)与联邦学习的可扩展三维重建框架。现有的城市规模重建方法通常采用集中式方法,将所有数据汇集到中央服务器并重建场景。这种方法阻碍了可扩展性,因为当重建规模超出城市级别时,会给服务器带来沉重负担并需要大量数据存储。为了追求更具可扩展性的三维重建,我们提出了一个结合3DGS的联邦学习框架,这是一个去中心化的框架,可以潜在地利用分布在海量客户端上的计算资源。我们为3DGS定制了一种基于蒸馏的模型更新方案,并引入了外观建模来处理联邦学习三维重建场景中的非独立同分布数据。我们在几个大规模基准上模拟了我们的方法,结果表明我们的方法所渲染的图像质量可与集中式方法相媲美。此外,我们还用不同季节收集的数据模拟了我们的方法,证明我们的框架能够反映场景的变化,并且我们的外观建模能够捕捉到因季节变化引起的改变。
引用
@article{arxiv.2403.11460,
title = {Fed3DGS: Scalable 3D Gaussian Splatting with Federated Learning},
author = {Teppei Suzuki},
journal= {arXiv preprint arXiv:2403.11460},
year = {2024}
}
备注
Code: https://github.com/DensoITLab/Fed3DGS