TRASE:无跟踪的 4D 分段与编辑
计算机视觉与模式识别
2026-01-13 v2
摘要
理解动态 3D 场景对于延长现实(XR)和自动驾驶至关重要。将语义信息融入 3D 重建可实现整体场景表示, unlocking 沉浸式和交互式应用。为此,我们提出 TRASE,一种用于动态场景理解的无跟踪 4D 分段方法。TRASE 以弱监督方式学习 4D 分段特征场,利用由 SAM 掩码引导的软矿化对比学习目标。生成的特征空间语义一致且良好分离,最终通过无监督聚类获得对象级分段。这使得通过直接操作场景的高斯实现快速编辑成为可能,如对象删除、组合和风格迁移。我们在五个动态基准数据集上评估 TRASE,展示了来自不可见视角点的领先分段性能,以及各种交互式编辑任务的有效性。我们的项目页面可在 https://yunjinli.github.io/project-sadg/ 查看。
引用
@article{arxiv.2411.19290,
title = {TRASE: Tracking-free 4D Segmentation and Editing},
author = {Yun-Jin Li and Mariia Gladkova and Yan Xia and Daniel Cremers},
journal= {arXiv preprint arXiv:2411.19290},
year = {2026}
}
备注
Accepted to 3DV 2026. Project page https://yunjinli.github.io/project-sadg