大型生成模型辅助的 3D 语义通信

语义通信 (Semantic Communication, SC) 是 6G 中一种新颖的数据传输范式。然而，在 3D 场景中执行 SC 存在几个挑战：1) 3D 语义提取；2) 潜在语义冗余；3) 不确定的信道估计。为了解决这些问题，我们提出了一种生成式 AI 模型辅助的 3D SC (GAM-3DSC) 系统。首先，我们引入了一个 3D 语义提取器 (3D Semantic Extractor, 3DSE)，它采用生成式 AI 模型，包括 Segment Anything Model (SAM) 和 Neural Radiance Field (NeRF)，根据用户需求从 3D 场景中提取关键语义。提取的 3D 语义被表示为面向目标的 3D 物体的多视角图像。然后，我们提出了一个自适应语义压缩模型 (Adaptive Semantic Compression Model, ASCM) 用于编码这些多视角图像，其中我们使用一个带有两个输出头的语义编码器分别执行语义编码并在潜在语义空间中掩蔽冗余语义。接下来，我们设计了一个条件生成对抗网络和扩散模型辅助的信道估计 (Generative adversarial network and Diffusion model aided-Channel Estimation, GDCE) 来估计和细化物理信道的信道状态信息 (Channel State Information, CSI)。最后，仿真结果证明了所提出的 GAM-3DSC 系统在有效传输面向目标的 3D 场景方面的优势。