SA-GS：用于免训练抗锯齿的尺度自适应高斯泼溅
计算机视觉与模式识别
2024-03-29 v1
摘要
在本文中，我们提出了一种用于抗锯齿高斯泼溅的尺度自适应方法（Scale-adaptive method for Anti-aliasing Gaussian Splatting, SA-GS）。当前最先进的方法 Mip-Splatting 需要修改高斯泼溅的训练过程，而我们的方法在测试时运行且无需训练。具体而言，SA-GS 可作为插件应用于任何预训练的高斯泼溅场，以显著提升该场的抗锯齿性能。核心技术是在测试期间对每个高斯应用 2D 尺度自适应滤波器。正如 Mip-Splatting 所指出的，在不同频率下观察高斯会导致训练和测试期间高斯尺度之间的不匹配。Mip-Splatting 使用 3D 平滑和 2D Mip 滤波器解决了这一问题，但遗憾的是这些滤波器对测试频率不敏感。在本工作中，我们表明，获知测试频率的 2D 尺度自适应滤波器能够有效匹配高斯尺度，从而使高斯基元分布在不同测试频率下保持一致。当尺度不一致被消除后，小于场景频率的采样率会导致传统的锯齿现象，我们建议在测试期间将投影的 2D 高斯在每个像素内进行积分。这种积分实际上是超采样的极限情况，与原始高斯泼溅相比，显著提升了抗锯齿性能。通过在各种设置以及有界和无界场景下的广泛实验，我们表明 SA-GS 的性能与 Mip-Splatting 相当或更优。请注意，超采样和积分仅在激活我们的尺度自适应滤波时才有效。我们的代码、数据和模型可在 https://github.com/zsy1987/SA-GS 获取。
引用
@article{arxiv.2403.19615,
title = {SA-GS: Scale-Adaptive Gaussian Splatting for Training-Free Anti-Aliasing},
author = {Xiaowei Song and Jv Zheng and Shiran Yuan and Huan-ang Gao and Jingwei Zhao and Xiang He and Weihao Gu and Hao Zhao},
journal= {arXiv preprint arXiv:2403.19615},
year = {2024}
}
备注
Project page: https://kevinsong729.github.io/project-pages/SA-GS/ Code: https://github.com/zsy1987/SA-GS