双摄像全景神经辐射场

我们提出了首个能够从输入数据无需手动 refocusing 的情况下合成全景神经辐射场（NeRF）的框架。无需 refocusing，相机将为所有视角固定聚焦于目标对象，而当前通常使用单摄像机的 NeRF 方法由于一致的焦外散斑和缺乏锐利参考图像而难以实现。为恢复全景 NeRF，我们引入来自智能手机的双摄像头系统，其中超广角摄像头拥有更深的焦点深度（DoF），而主摄像头具备更高的分辨率。双摄像头组合既保存了主摄像头的高保真细节，又以超广角摄像头的深焦点DoF作为全景恢复的参考。为此，我们首先实现了空间错位和颜色匹配以对齐双摄像头，随后引入一种带可学习焦外参数的无焦外融合模块，用于预测焦外图并融合对齐后的双摄像头图像。我们还构建了一个包含智能手机主摄和超广角摄像头图像对的多视角数据集。该数据集上的大量实验验证了我们的方法——称为DC-NeRF——能够生成高质量的全景新视角，并在定性和定量上均优于强大的基线方法。我们进一步展示了DC-NeRF的DoF应用场景，可实现可调焦外强度和焦平面的 refocusing 和 split diopter。