神经泊松求解器:用于自然信号混合的通用连续框架
计算机视觉与模式识别
2024-07-15 v2
摘要
隐式神经表示 (INR) 已成为表示视觉信号(如 2D 图像和 3D 场景)的流行方法,在各种下游应用中显示出良好的性能。鉴于其作为视觉信号媒介的潜力,探索开发一种利用 INR 实现视觉信号混合的神经方法是自然的延续。神经混合涉及将两个 INR 合并以创建包含两个原始表示信息的新 INR。直接方法涉及将传统图像编辑方法应用于 INR 渲染过程。然而,这种方法常导致混合失真、细节缺失和颜色偏移,主要由于底层像素网格的离散化以及为求解变分问题引入边界条件的原因。为解决此问题,我们引入神经泊松求解器,这是一个即插即用且可适用于不同信号维度的框架,用于混合由 INR 表示的视觉信号。我们的神经泊松求解器基于连续泊松方程提供一种变分问题求解方法,展现出卓越的性能。具体而言,我们提出了基于梯度引导的神经求解器来表示变分问题的求解过程,通过细化目标信号以实现自然的混合结果。我们还开发了基于泊松方程的损失和优化方案,以训练求解器,确保其在保留输入 INR 场景固有结构和语义内容的同时,有效地对其进行混合。该方法无需额外的先验知识,使其易于适用于各种任务类别,凸显了其广泛性。全面的实验结果验证了该方法在多个维度和混合任务中的鲁健性。
引用
@article{arxiv.2407.08457,
title = {Neural Poisson Solver: A Universal and Continuous Framework for Natural Signal Blending},
author = {Delong Wu and Hao Zhu and Qi Zhang and You Li and Zhan Ma and Xun Cao},
journal= {arXiv preprint arXiv:2407.08457},
year = {2024}
}
备注
accepted by ECCV 2024