DGD：动态三维高斯蒸馏
计算机视觉与模式识别
2024-05-30 v1
摘要
我们针对给定单目视频输入学习动态3D语义辐射场的任务。我们学习的语义辐射场捕获动态3D场景中每个点的语义以及颜色和几何属性，从而能够生成新视角及其对应的语义。这使得能够分割和跟踪多种3D语义实体，这些实体通过简单直观的界面（包括用户点击或文本提示）指定。为此，我们提出了DGD，一种用于动态3D场景外观和语义的统一3D表示，它建立在最近提出的动态3D高斯表示之上。我们的表示随时间优化，同时包含颜色和语义信息。我们方法的关键是外观和语义属性的联合优化，它们共同影响场景的几何属性。我们评估了该方法在实现密集语义3D物体跟踪方面的能力，并展示了针对多种场景的高质量且快速渲染的结果。我们的项目网页可在https://isaaclabe.github.io/DGD-Website/上获取。
引用
@article{arxiv.2405.19321,
title = {DGD: Dynamic 3D Gaussians Distillation},
author = {Isaac Labe and Noam Issachar and Itai Lang and Sagie Benaim},
journal= {arXiv preprint arXiv:2405.19321},
year = {2024}
}