STD-GS：探索帧-事件交互的时空解耦高斯泼溅以重建高动态场景
计算机视觉与模式识别
2025-07-01 v1
摘要
高动态场景重建旨在用刚性空间特征表示静态背景，并用变形的连续时空特征表示动态物体。通常，现有方法采用统一表示模型（例如，高斯）直接从帧相机匹配动态场景的时空特征。然而，由于帧成像导致物体潜在的时间特征不连续，以及背景与物体之间的空间特征异构，这种统一范式在此失效。为了解决这个问题，我们将时空特征解耦为各种潜在表示，以缓解背景与物体之间的时空不匹配。在这项工作中，我们引入事件相机来补偿帧相机，并提出一个用于高动态场景重建的时空解耦高斯泼溅框架。对于动态场景，我们发现背景和物体在基于帧的空间特征中存在外观差异，在基于事件的时间特征中存在运动差异，这促使我们通过聚类来区分背景和物体之间的时空特征。对于动态物体，我们发现高斯表示和事件数据具有一致的时空特征，这可以作为先验来指导物体高斯的时空解耦。在高斯泼溅框架内，累积的场景-物体解耦可以改善背景和物体之间的时空判别性，从而渲染时间连续的动态场景。进行了大量实验以验证所提方法的优越性。
引用
@article{arxiv.2506.23157,
title = {STD-GS: Exploring Frame-Event Interaction for SpatioTemporal-Disentangled Gaussian Splatting to Reconstruct High-Dynamic Scene},
author = {Hanyu Zhou and Haonan Wang and Haoyue Liu and Yuxing Duan and Luxin Yan and Gim Hee Lee},
journal= {arXiv preprint arXiv:2506.23157},
year = {2025}
}