GN-FR：用于耀斑去除的可泛化神经辐射场

耀斑是透镜系统内不希望的散射和反射引起的光学现象，在成像中构成重大挑战。耀斑的多样模式，如光晕、条纹、色彩渗漏和雾霾，使耀斑去除过程复杂化。现有的传统和基于学习的方法由于依赖单图像方法而表现出有限的功效，其中耀斑去除是高度不适定的。我们通过将耀斑去除构建为多视图图像问题来解决这个问题，利用耀斑伪影的视图依赖性。该方法利用相邻视图的信息来恢复单个图像中被耀斑遮挡的细节。我们提出的框架GN-FR（用于耀斑去除的可泛化神经辐射场）可以从受镜头耀斑影响的稀疏输入图像集渲染无耀斑视图，并以无监督方式跨不同场景泛化。GN-FR在可泛化NeRF Transformer（GNT）框架内整合了多个模块：耀斑占用掩码生成（FMG）、视图采样器（VS）和点采样器（PS）。为了克服捕获耀斑污染和无耀斑数据的不可行性，我们引入了一种掩码损失函数，在无监督设置中利用掩码信息。此外，我们提出了一个3D多视图耀斑数据集，包含17个真实耀斑场景、782张图像、80个真实耀斑模式及其对应的标注耀斑占用掩码。据我们所知，这是首个在神经辐射场（NeRF）框架内解决耀斑去除问题的工作。