面向元宇宙的联邦多视图合成
图像与视频处理
2024-01-03 v1 计算机视觉与模式识别
机器学习
摘要
元宇宙有望提供沉浸式的娱乐、教育和商业应用。然而，无线网络上的虚拟现实(VR)传输是数据密集型和计算密集型的，因此引入能够满足严格服务质量要求的新颖解决方案至关重要。随着边缘智能和深度学习的最新进展，我们开发了一种新颖的多视图合成框架，该框架能够高效地为元宇宙中的无线内容交付提供计算、存储和通信资源。我们提出了一种利用单视图图像集合的三维(3D)感知生成模型。这些单视图图像被传输给具有重叠视场的用户组，与传输瓦片或整个3D模型相比，这避免了大量的内容传输。然后，我们提出了一种联邦学习方法以保证高效的学习过程。通过利用具有大潜在特征空间的垂直和水平数据样本，可以提升训练性能，同时在联邦学习过程中通过减少传输参数的数量来实现低延迟通信。我们还提出了一个联邦迁移学习框架，以实现对不同目标域的快速域适应。仿真结果证明了我们提出的用于VR内容交付的联邦多视图合成框架的有效性。
引用
@article{arxiv.2401.00859,
title = {Federated Multi-View Synthesizing for Metaverse},
author = {Yiyu Guo and Zhijin Qin and Xiaoming Tao and Geoffrey Ye Li},
journal= {arXiv preprint arXiv:2401.00859},
year = {2024}
}