点重抽样与射线变换：可编辑 NeRF 模型
计算机视觉与模式识别
2024-05-24 v1
摘要
在 NeRF 辅助编辑任务中，物体移动因引起物体位置的可变性，导致监督信号生成困难。此外，某些场景物体的删除操作常导致空洞区域，给 NeRF 模型在进行 inpainting 提供挑战。我们提出一种隐式射线变换策略，允许通过操作 NeRF 射线中的神经点来直接操控 3D 物体的姿态。为解决填充潜在空洞区域的难题，我们提出了名为可微神经点重抽样 (differentiable neural-point resampling, DNR) 的即插即用填充模块，通过在隐式空间内对原始射线位置处的 3D 空间进行插值，从而促进物体删除和场景 inpainting 任务。重要的是，运用 DNR 能有效缩小真实值与预测隐式特征之间的差距， potentially 增加射线之间特征的互信息 (MI)。随后，我们利用 DNR 和射线变换构建了一个基于点的可编辑 NeRF 流水线 PR^2T-NeRF。结果主要评估于 3D 物体删除和 inpainting 任务表明，该流水线实现了最先进的性能。此外，该流水线支持在不另寻监督信号的情况下，对 diverse 编辑操作提供高质量渲染可视化。
引用
@article{arxiv.2405.07306,
title = {Point Resampling and Ray Transformation Aid to Editable NeRF Models},
author = {Zhenyang Li and Zilong Chen and Feifan Qu and Mingqing Wang and Yizhou Zhao and Kai Zhang and Yifan Peng},
journal= {arXiv preprint arXiv:2405.07306},
year = {2024}
}