3D 高斯建模中的联合语义与渲染增强：带各向异性局部编码

最近的工作提出将语义特征向量扩展至 3DGS，以实现语义分割和图像渲染的同步。然而，这些方法常将语义和渲染分支独立处理，仅依赖二维监督，忽略了 3D 高斯几何。此外，当前的自适应策略仅根据渲染梯度调整高斯集合，在细微或纹理缺失区域可能效果不足。本文提出一种用于 3D 语义高斯建模的联合增强框架，协同语义和渲染两个分支。首先，不同于常规点云形状编码，我们引入一种基于拉普拉斯-贝尔特拉算子的各向异性 3D 高斯切比雪夫描述符，捕获细粒度 3D 形状细节，从而区分外观相似的物体，减少对可能噪声的二维指导的依赖。此外，不依赖单纯的渲染梯度，我们利用局部语义和形状信号自适应调整高斯分配和球面谱系，通过选择性资源分配提升渲染效率。最后，我们采用跨场景知识迁移模块持续更新所学形状模式，使模型在无需为每个新场景从头重新学习形状信息的情况下，实现更快收敛和稳健的表示。实验在多个数据集上表明，我们在保持高渲染帧率的同时，提升了分割精度和渲染质量。