高斯图像：基于二维高斯泼溅的 1000 FPS 图像表示与压缩
图像与视频处理
2024-07-10 v5 人工智能
计算机视觉与模式识别
多媒体
摘要
隐式神经表示（INR）最近在图像表示和压缩方面取得了巨大成功，在假设有足够 GPU 资源可用的情况下，提供高视觉质量和 10-1000 FPS 的快速渲染速度。然而，这一要求常常阻碍它们在内存有限的低端设备上的使用。为此，我们提出了一种基于二维高斯泼溅的开创性图像表示与压缩范式，命名为高斯图像（GaussianImage）。我们首先引入二维高斯来表示图像，其中每个高斯具有包括位置、协方差和颜色在内的 8 个参数。随后，我们揭示了一种基于累加求和的新型渲染算法。值得注意的是，我们的方法以至少降低 3 倍的 GPU 内存使用量和加快 5 倍的拟合时间，不仅在表示性能上可与 INR（例如 WIRE、I-NGP）相媲美，而且无论参数大小如何，都能提供 1500-2000 FPS 的更快速渲染速度。此外，我们整合了现有的矢量量化技术来构建图像编解码器。实验结果表明，我们的编解码器达到了与基于压缩的 INR（如 COIN 和 COIN++）相当的率失真性能，同时实现了约 2000 FPS 的解码速度。此外，初步的概念验证表明，在使用部分位回编码时，我们的编解码器在性能上超越了 COIN 和 COIN++。代码可在 https://github.com/Xinjie-Q/GaussianImage 获取。
引用
@article{arxiv.2403.08551,
title = {GaussianImage: 1000 FPS Image Representation and Compression by 2D Gaussian Splatting},
author = {Xinjie Zhang and Xingtong Ge and Tongda Xu and Dailan He and Yan Wang and Hongwei Qin and Guo Lu and Jing Geng and Jun Zhang},
journal= {arXiv preprint arXiv:2403.08551},
year = {2024}
}
备注
Accepted by ECCV 2024. Project Page:https://xingtongge.github.io/GaussianImage-page/ Code: https://github.com/Xinjie-Q/GaussianImage