精简传输：生成式AI增强的语义感知XR部署框架

在6G时代，数字孪生和元宇宙的愿景引人注目，扩展现实（XR）已成为连接数字与物理世界的重要纽带，引起了广泛兴趣。确保完全沉浸式的无线XR体验是一项至关重要的技术需求，要求将XR从有线连接的限制中解放出来。本文首先介绍了无线XR领域应用的技术，探讨了它们的优势和局限性，并强调了当前面临的挑战。然后，我们提出了一种适用于广泛XR流水线的新型部署框架，称为“GeSa-XRF”，其灵感来自语义通信（SemCom）的核心哲学，即将关注点从“如何”传输转移到“传输什么”。特别地，该框架包括三个阶段：数据收集、数据分析和数据交付。在每个阶段，我们集成语义感知以实现精简传输，并采用生成式人工智能（GAI）实现协同优化。对于具有不同数据量和异构延迟要求的多模态数据收集，我们提出了一种基于多模态融合与分离的新型SemCom范式，以及一种基于GAI的鲁棒叠加方案。为执行全面的数据分析，我们采用多任务学习进行视场预测和个性化注意力预测，并讨论了GAI辅助的可能预处理方法。最后，在数据交付阶段，我们提出了一种基于语义感知的多播交付策略，旨在减少像素级冗余传输，并介绍了GAI协同优化方法。通过案例研究初步证明了所提出的GeSa-XRF的性能增益。