基于神经辐射场的3D人类面部语义通信
图像与视频处理
2024-07-22 v1
摘要
本文研究了在受限传输-接收链路上进行三维（3D）人类面板内容传输的语义通信问题。我们提出了一种名为 NeRF-SeCom 的新框架，利用神经辐射场（NeRF）和语义通信来提高3D可视化质量，同时最小化通信开销。在NeRF-SeCom框架中，我们首先基于NeRFBlendShape方法训练一个NeRF面板模型，将其在发送方和接收方之间预共享作为语义知识库，以促进实时传输。接下来，在知识库的基础上，发送方提取并发送仅供接收方用于实时重建3D面板的必要语义特征。为优化传输效率，我们将表情特征分为静态和动态类型。每个视频块内，静态特征在所有帧上仅传输一次，而动态特征在部分帧上传输以遵循速率限制。此外，我们提出了一种特征预测机制，允许接收方预测未传输帧的动态特征。实验表明，我们提出的NeRF-SeCom框架在传递高质量人类面部3D可视化方面显著优于基准方法。
引用
@article{arxiv.2407.13992,
title = {Semantic Communications for 3D Human Face Transmission with Neural Radiance Fields},
author = {Guanlin Wu and Zhonghao Lyu and Juyong Zhang and Jie Xu},
journal= {arXiv preprint arXiv:2407.13992},
year = {2024}
}
备注
6 pages, 4 figures. arXiv admin note: text overlap with arXiv:2405.12155