VeGaS: 视频高斯泼溅
计算机视觉与模式识别
2026-02-19 v1
摘要
隐式神经表示(INRs)采用神经网络将离散数据近似为连续函数。在视频数据的语境下，此类模型可用于将像素位置坐标连同帧出现时间(或索引)转换为 RGB 颜色值。尽管 INRs 促进了有效的压缩，但它们不适用于编辑目的。一种潜在的解决方案是使用基于 3D 高斯泼溅(3DGS)的模型，例如视频高斯表示(VGR)，它能够将视频编码为大量 3D 高斯，并适用于包括编辑在内的众多视频处理操作。然而，在这种情况下，修改能力被限制在有限的基本变换集合内。为了解决这一问题，我们引入了视频高斯泼溅模型，该模型支持对视频数据进行逼真的修改。为了构建 VeGaS，我们提出了一种新颖的折叠高斯分布族，旨在捕捉视频流中的非线性动态，并通过作为各自条件分布获得的 2D 高斯对连续帧进行建模。我们的实验表明，VeGaS 在帧重建任务中优于 SOTA 解决方案，并允许对视频数据进行逼真的修改。代码获取地址：https://github.com/gmum/VeGaS。
引用
@article{arxiv.2411.11024,
title = {VeGaS: Video Gaussian Splatting},
author = {Weronika Smolak-Dyżewska and Dawid Malarz and Kornel Howil and Jan Kaczmarczyk and Marcin Mazur and Przemysław Spurek},
journal= {arXiv preprint arXiv:2411.11024},
year = {2026}
}