特征泼溅：低重叠场景下更优的新视图合成
计算机视觉与模式识别
2024-10-01 v2
摘要
3D高斯泼溅已成为一种非常有前景的场景表示方法，在新视图合成中实现了最先进的质量，且速度远快于竞争替代方案。然而，它使用球谐函数来表示场景颜色，限制了3D高斯的表达能力，从而限制了表示在远离训练视图时的泛化能力。在本文中，我们提出将3D高斯的颜色信息编码为每个高斯的特征向量，我们称之为特征泼溅（FeatSplat）。为了合成新视图，首先将高斯“泼溅”到图像平面上，然后对相应的特征向量进行alpha混合，最后通过一个小型MLP解码混合向量以渲染RGB像素值。为了进一步告知模型，我们将相机嵌入连接到混合特征向量，以根据视点信息调节解码。我们的实验表明，这种新颖的辐射编码模型显著改善了低重叠视图（远离训练视图）的新视图合成。最后，我们还展示了特征向量表示的能力和便利性，证明了它不仅能够为新视图生成RGB值，还能生成逐像素语义标签。代码见 https://github.com/tberriel/FeatSplat 。
引用
@article{arxiv.2405.15518,
title = {Feature Splatting for Better Novel View Synthesis with Low Overlap},
author = {T. Berriel Martins and Javier Civera},
journal= {arXiv preprint arXiv:2405.15518},
year = {2024}
}