大模型赋能元宇宙：最新进展、挑战与机遇

元宇宙代表了一种超越传统移动互联网的变革性转变，创建了一个沉浸式、持久的数字生态系统，用户可在其中进行交互、社交和工作，运营于 3D 虚拟环境中。由 ChatGPT 和 Sora 等大模型驱动，元宇宙受益于精确的大规模现实建模、自动多模态内容生成、逼真的虚拟形象以及无缝的自然语言理解，这些功能增强了用户参与度，并实现了更个性化、直观的交互方式。然而，仍面临规模受限、响应不足以及动态环境适应性低等挑战。本文探讨了大模型在元宇宙中的集成，考察其在提升用户交互、感知、内容创建和服务质量方面的作用。为解决现有挑战，我们提出一种基于生成式 AI 的框架，用于优化元宇宙渲染。该框架包括云-边-端协作模型以实现最小延迟的任务分配，一种移动感知的预渲染机制可动态调整以适应用户移动，以及一种基于扩散模型的自适应渲染策略以精细调整视觉细节。实验结果表明，我们的方法在增强渲染效率和降低渲染开销方面有效，推动了大模型在更具响应性和沉浸式元宇宙中的部署。