中文

全相机效果,全时刻,一次性生成:基于物理的相机效果数据生成之4D高斯光线追踪

计算机视觉与模式识别 2025-10-22 v2

摘要

常见的计算机视觉系统通常假设理想的针孔相机,但在面对鱼眼畸变和卷帘快门等真实世界的相机效果时往往失效,这主要是由于缺乏包含相机效果的训练数据。现有的数据生成方法要么成本高昂,要么存在仿真到现实的差距,要么无法精确建模相机效果。为解决这一瓶颈,我们提出了4D高斯光线追踪(4D-GRT),这是一种新颖的两阶段流程,将4D高斯泼溅与基于物理的光线追踪相结合,用于相机效果模拟。给定多视角视频,4D-GRT首先重建动态场景,然后应用光线追踪生成具有可控、物理精确相机效果的视频。与现有基线相比,4D-GRT在实现最快渲染速度的同时,渲染质量更优或相当。此外,我们构建了八个室内环境的合成动态场景,涵盖四种相机效果,作为评估生成带相机效果视频的基准。

关键词

引用

@article{arxiv.2509.10759,
  title  = {Every Camera Effect, Every Time, All at Once: 4D Gaussian Ray Tracing for Physics-based Camera Effect Data Generation},
  author = {Yi-Ruei Liu and You-Zhe Xie and Yu-Hsiang Hsu and I-Sheng Fang and Yu-Lun Liu and Jun-Cheng Chen},
  journal= {arXiv preprint arXiv:2509.10759},
  year   = {2025}
}

备注

Paper accepted to NeurIPS 2025 Workshop SpaVLE. Project page: https://shigon255.github.io/4DGRT-project-page/