用于突发图像融合与分层分离的神经样条场
计算机视觉与模式识别
2023-12-25 v1
摘要
突发图像序列中的每张照片都可视为复杂 3D 场景的一个样本：它是视差、漫反射与镜面反射材料、场景运动以及光照变化的产物。虽然从一堆未对齐的图像中分解所有这些效应是一个高度病态的任务，但传统的对齐 - 合并突发流程则走向另一个极端：将它们混合成单张图像。在本工作中，我们提出了一种通用的中间表示：一个由神经样条场构建的双层 alpha 合成图像加光流模型——即训练用于将输入坐标映射到样条控制点的网络。我们的方法能够在测试时优化期间，将突发图像捕获联合融合为高分辨率重建，并将其分解为透射层和遮挡层。随后，通过丢弃遮挡层，我们可以执行一系列任务，包括透过遮挡物观察、抑制反射和去除阴影。在复杂的合成数据和野外拍摄数据上的验证表明，无需后处理步骤或学习先验，我们的可泛化模型能够优于现有的专用单图像和多视角遮挡去除方法。
引用
@article{arxiv.2312.14235,
title = {Neural Spline Fields for Burst Image Fusion and Layer Separation},
author = {Ilya Chugunov and David Shustin and Ruyu Yan and Chenyang Lei and Felix Heide},
journal= {arXiv preprint arXiv:2312.14235},
year = {2023}
}
备注
project website: https://light.princeton.edu/publication/nsf