基于对抗特征学习的语义通信方法用于人类3D重建
计算机视觉与模式识别
2024-12-17 v2 人工智能
摘要
随着人体3D重建技术在各领域的广泛应用，对数据传输和处理效率的需求不断提高，尤其是在网络带宽有限且要求低延迟的场景。本文引入一种基于对抗特征学习的语义通信方法（AFLSC），用于人体3D重建，专注于提取和传输3D重建任务所需的关键语义信息，从而显著优化数据流并缓解带宽压力。在发送端，我们提出一种基于多任务学习的特征提取方法，从2D人体图像中捕获空间布局、关键点、姿态和深度信息，并设计一种基于对抗特征学习的语义编码技术，将这些特征信息编码为语义数据。我们还开发了一种动态压缩技术来高效传输这些语义数据，大幅提升传输效率并降低延迟。在接收端，我们设计了一种高效的多层次语义特征解码方法，将语义数据转换回关键图像特征。最后，采用改进的ViT-diffusion模型进行3D重建，生成人体3D网格模型。实验结果验证了该方法在数据传输效率和重建质量方面的优势，展示了其在带宽受限环境中广泛应用的潜力。
引用
@article{arxiv.2411.15595,
title = {An adversarial feature learning based semantic communication method for Human 3D Reconstruction},
author = {Shaojiang Liu and Jiajun Zou and Zhendan Liu and Meixia Dong and Zhiping Wan},
journal= {arXiv preprint arXiv:2411.15595},
year = {2024}
}
备注
It was published to arXiv without consulting the corresponding author, so the corresponding author requested a withdrawal first