RainyScape: 基于解耦神经渲染的无监督雨景重建
计算机视觉与模式识别
2024-04-18 v1
摘要
我们提出了RainyScape框架，用于从一组多视角雨景图像中无监督重建干净的场景。RainyScape由两个主要模块组成：神经渲染模块和雨预测模块，后者包含预测网络和捕获场景雨特征的可学习潜在嵌入。具体而言，基于神经网络的谱偏差特性，首先优化神经渲染管道以获得场景的低频表示。随后，我们驱动两个模块联合优化，利用提出的自适应方向敏感梯度重建损失，鼓励网络区分场景细节与雨 streak，促进梯度向相关组件传播。对经典神经辐射场和最近提出的3D高斯溅射进行了大量实验，证明我们方法在有效消除雨 streak方面优于其他方法，实现了最先进的性能。将公开构建的高质量数据集和源代码。
引用
@article{arxiv.2404.11401,
title = {RainyScape: Unsupervised Rainy Scene Reconstruction using Decoupled Neural Rendering},
author = {Xianqiang Lyu and Hui Liu and Junhui Hou},
journal= {arXiv preprint arXiv:2404.11401},
year = {2024}
}