Segment Any 4D Gaussians
计算机视觉与模式识别
2024-07-15 v2
摘要
建模、理解和重建真实世界是 XR/VR 领域的关键任务。最近，3D 高斯溶解(3D-GS)方法在建模和理解 3D 场景方面取得了显著成功。类似地，各种 4D 表示方法已展示出捕捉 4D 世界动态的能力。然而，目前缺乏针对 4D 表示内部分段的研究。在本文中，我们提出了 Segment Any 4D Gaussians (SA4D)，这是一种首批基于 4D 高斯实现“分割任何内容”的框架。在 SA4D 中，引入了一种高效的时间身份特征场，用于处理高斯漂移问题，该方法有望从噪声和稀疏输入中学习到精确的身份特征。此外，还提出了一种 4D 分段细化过程，用于去除伪影。我们的 SA4D 能在 4D 高斯中实现精确、高质量的分段，并显示出去除、重新着色、组合和渲染高质量任何掩码的能力。更多演示请访问: https://jsxzs.github.io/sa4d/。
引用
@article{arxiv.2407.04504,
title = {Segment Any 4D Gaussians},
author = {Shengxiang Ji and Guanjun Wu and Jiemin Fang and Jiazhong Cen and Taoran Yi and Wenyu Liu and Qi Tian and Xinggang Wang},
journal= {arXiv preprint arXiv:2407.04504},
year = {2024}
}
备注
22 pages