面向语义感知的 2DGS 街道图像去隐化工具 -- 简单基线

从车载摄像头捕获的拥挤观察中还原空街道对于自动驾驶至关重要。但去除所有暂时静止物体（如停靠的车辆和站立的行人） presents 一个重大挑战。不同于基于物体中心的 3D 图像填色，其依赖于小场景内的充分观察；而街道场景涉及较长的轨迹，与之前的 3D 图像填色任务不同。摄像头中心的动态环境进一步复杂化了该任务，由于物体观察的程度和时间持续时间有限。为解决这些障碍，我们提出 StreetUnveiler 来重建空街道。StreetUnveiler 从拥挤观察中学习空街道的 3D 表示。我们的表示基于硬标签语义 2D 高斯光滑（2DGS），其可扩展性强，能够识别需要被移除的高斯点。我们在移除不需要的高斯点后，对渲染图像进行图像填色以提供伪标签，然后重新优化 2DGS。鉴于其持续的时序运动，我们将空街道场景划分为观察区、部分观察区和未观察区，通过渲染的 alpha 图定位这些区域。此划分有助于最小化需要图像填色的区域。为增强图像填色的时序一致性，我们引入一种新颖的逆时序框架，对帧进行逆序填色，并使用后续帧作为早期帧的参考，以充分利用长轨迹观察。我们在街道场景数据集上进行的实验成功地重建了空街道的 3D 表示。可以提取出空街道的网格表示用于后续应用。项目页面和更多可视化结果可在：https://streetunveiler.github.io 查看。