基于空中学习的几何点云传输
信号处理
2025-06-11 v3 多媒体
摘要
本文针对实时应用中点云在无线信道上的高效可靠传输提出了新颖方案。我们首先提出面向小规模点云的语义点云传输（SEPT），其通过迭代下采样与特征提取过程对点云进行编码。在接收端，SEPT 解码器通过隐空间重建与基于偏移的上采样重建点云。我们提出了一种新颖的信道自适应模块，使 SEPT 能在广泛信道条件下有效运行。接下来，我们提出受神经辐射场启发的 OTA-NeRF 方案。OTA-NeRF 对点云输入进行体素化，并学习将体素化点云编码为一个神经网络。与 SEPT 中传输提取的特征向量不同，它以模拟方式传输学习到的神经网络权重，以及少量以数字方式传输的超参数。在接收端，OTA-NeRF 解码器利用接收到的含噪神经网络权重重建原始点云。为进一步提升 OTA-NeRF 方案的带宽效率，我们开发了微调算法，仅对部分神经网络权重进行重训练与传输。注意到 OTA-NeRF 方案泛化性较差，我们提出一种替代方法，称为 OTA-MetaNeRF，其将不同输入点云编码为共享神经网络权重的隐向量。大量数值实验证实，所提出的 SEPT、OTA-NeRF 与 OTA-MetaNeRF 方案相较传统方法（将基于八叉树或基于学习的点云压缩方案与信道编码级联）取得了更优或相当的性能。最后，我们对运行时间复杂度进行了评估，以验证所提方案用于实时通信的能力。
引用
@article{arxiv.2306.08730,
title = {Over-the-Air Learning-based Geometry Point Cloud Transmission},
author = {Chenghong Bian and Yulin Shao and Deniz Gunduz},
journal= {arXiv preprint arXiv:2306.08730},
year = {2025}
}
备注
17 pages, accepted to IEEE JSAC SI on Intelligent Communications for Real-Time Computer Vision (Comm4CV)