EvGGS: 基于事件的可泛化高斯泼溅协同学习框架
计算机视觉与模式识别
2024-10-11 v3 人工智能
摘要
事件相机具有高动态范围和低延迟等优势，非常适合具有挑战性的光照条件和快速运动场景。然而，从原始事件流重建3D场景很困难，因为事件数据稀疏且不携带绝对颜色信息。为了释放其在3D重建中的潜力，我们提出了首个基于事件的可泛化3D重建框架，称为EvGGS，该框架仅从事件输入以前馈方式将场景重建为3D高斯体，并且可以泛化到未见过的案例而无需重新训练。该框架包括深度估计模块、强度重建模块和高斯回归模块。这些子模块以级联方式连接，我们通过设计的联合损失协同训练它们，使它们相互促进。为了促进相关研究，我们构建了一个新的基于事件的3D数据集，包含各种材质物体以及标定过的灰度图像、深度图、相机姿态和轮廓标签。实验表明，联合训练的模型显著优于单独训练的模型。我们的方法在重建质量、深度/强度预测以及令人满意的渲染速度方面优于所有基线。
引用
@article{arxiv.2405.14959,
title = {EvGGS: A Collaborative Learning Framework for Event-based Generalizable Gaussian Splatting},
author = {Jiaxu Wang and Junhao He and Ziyi Zhang and Mingyuan Sun and Jingkai Sun and Renjing Xu},
journal= {arXiv preprint arXiv:2405.14959},
year = {2024}
}