基于变分残差特征和不确定性增强学习的 SuperGS：超分辨率3D高斯溶解
计算机视觉与模式识别
2024-12-12 v3
摘要
最近，3D 高斯溶解（3DGS）在新视角合成（NVS）中表现出色，具有实时渲染能力和优异质量。然而，由于源自低分辨率输入视图的粗糙原始，面临高分辨率新视角合成（HRNVS）的挑战。为此，我们提出超分辨率3DGS（SuperGS），即在3DGS基础上扩展而来，采用两阶段粗到细训练框架。在此框架中，我们使用潜在特征场表示低分辨率场景，既作为初始化，也作为超分辨率优化的基础信息。此外，我们引入变分残差特征以增强高分辨率细节，将其方差作为不确定性估计来指导稀疏化过程和损失计算。进一步地，引入多视角联合学习方法有助于缓解由多视角不一致性导致的伪标签模糊性。大量实验表明，SuperGS仅使用低分辨率输入即可在真实和合成数据集上超越当前HRNVS方法的SOTA。代码可在 https://github.com/SYXieee/SuperGS 获取。
引用
@article{arxiv.2410.02571,
title = {SuperGS: Super-Resolution 3D Gaussian Splatting Enhanced by Variational Residual Features and Uncertainty-Augmented Learning},
author = {Shiyun Xie and Zhiru Wang and Xu Wang and Yinghao Zhu and Chengwei Pan and Xiwang Dong},
journal= {arXiv preprint arXiv:2410.02571},
year = {2024}
}