面向神经点云渲染的多频感知块对抗学习
计算机视觉与模式识别
2022-10-10 v1 图像与视频处理
摘要
我们提出了一种通过新颖的多频感知块对抗学习框架实现的神经点云渲染流水线。所提方法旨在通过最小化真实图像与合成图像之间的频谱差异来改善渲染真实感，尤其是在视觉上导致图像模糊的高频局部清晰度信息上。具体而言，我们提出了一种用于对抗学习的块多判别器方案，该方案结合了频域（傅里叶变换和离散小波变换）判别器以及空间（RGB）域判别器，以迫使生成器捕捉真实图像的全局与局部频谱分布。所提多判别器方案不仅有助于提升渲染真实感，还增强了对抗学习的收敛速度与稳定性。此外，我们引入了一种抗噪声体素化方法，利用外观距离与空间距离来排除由深度噪声引起的空间离群点。我们的整个架构完全可微，并可以端到端方式学习。大量实验表明，我们的方法以显著优势取得了神经点云渲染的当前最优（state-of-the-art）结果。我们的源代码将在稍后公开。
引用
@article{arxiv.2210.03693,
title = {Multi-Frequency-Aware Patch Adversarial Learning for Neural Point Cloud Rendering},
author = {Jay Karhade and Haiyue Zhu and Ka-Shing Chung and Rajesh Tripathy and Wei Lin and Marcelo H. Ang},
journal= {arXiv preprint arXiv:2210.03693},
year = {2022}
}
备注
8 pages, 4 figures