RS-NeRF：来自滚动快门图像的神经光度场
计算机视觉与模式识别
2024-07-16 v1
摘要
神经光度场 (NeRF) 因其在新视角合成方面的卓越能力而日益受到欢迎。然而，其有效性受到大多数相机系统中常见的滚动快门 (RS) 效应的限制。为解决此问题，我们提出了 RS-NeRF 方法，用于使用带有 RS 失真的输入图像合成正常图像。这涉及一种复制 RS 条件下图像形成过程的物理模型，并联合优化每个图像行的 NeRF 参数和相机外参。我们进一步通过深入研究 RS 的特征，开发算法来增强该方法的功能性。首先，我们施加平滑正则化以更好地估计轨迹并提高合成质量，符合相机运动先验。我们还识别并解决了基础 RS 模型中的根本性缺陷，通过引入一种多采样算法。这种新方法通过综合利用每个中间相机姿态不同行的 RGB 数据，提高了模型的性能。通过严格的实验，我们展示了 RS-NeRF 在合成和真实场景中的优于先前方法，证明其有效纠正 RS 相关失真的能力。代码和数据已公开：https://github.com/MyNiuuu/RS-NeRF
引用
@article{arxiv.2407.10267,
title = {RS-NeRF: Neural Radiance Fields from Rolling Shutter Images},
author = {Muyao Niu and Tong Chen and Yifan Zhan and Zhuoxiao Li and Xiang Ji and Yinqiang Zheng},
journal= {arXiv preprint arXiv:2407.10267},
year = {2024}
}
备注
ECCV 2024 ; Codes and data: https://github.com/MyNiuuu/RS-NeRF