Bits-to-Photon：面向直接渲染的端到端学习可扩展点云压缩
计算机视觉与模式识别
2024-09-26 v2 图像与视频处理
摘要
点云是体积流媒体在新兴 AR/VR 应用中被视为有前景的三维表示。尽管近期在点云压缩方面取得了进展，但从有损压缩的点云解码和渲染高质量图像仍在质量和复杂度方面存在挑战，这成为实现实时 6 自由度视频流的主要障碍。本文通过开发一种点云压缩方案，生成可直接解码以渲染 3D 高斯的比特流来解决此问题。编码器和解码器联合优化，考虑比特率和渲染质量。该方法显著提高了渲染质量，大幅降低了解码和渲染时间，相较于现有点云压缩方法。此外，本方案生成可扩展的比特流，允许在不同比特率范围内支持多个细节层次。该方法支持实时高质量点云的彩色解码和渲染，为具有自由视点的交互式三维流媒体应用铺平了道路。
引用
@article{arxiv.2406.05915,
title = {Bits-to-Photon: End-to-End Learned Scalable Point Cloud Compression for Direct Rendering},
author = {Yueyu Hu and Ran Gong and Yao Wang},
journal= {arXiv preprint arXiv:2406.05915},
year = {2024}
}