基于变分分数保持身份的通用三维编辑

我们提出了Piva（基于变分分数蒸馏的身份保持方法），一种新颖的基于优化的方法，用于基于扩散模型编辑图像和三维模型。具体来说，我们的方法受到最近提出的二维图像编辑方法——Delta去噪分数（DDS）的启发。我们指出了DDS在二维和三维编辑中的局限性，这会导致细节丢失和过度饱和。为了解决这个问题，我们提出了一个额外的分数蒸馏项，用于强制保持身份。这导致了一个更稳定的编辑过程，逐步优化NeRF模型以匹配目标提示，同时保留关键的输入特征。我们展示了该方法在零样本图像和神经场编辑中的有效性。我们的方法成功地改变了视觉属性，添加了微妙和实质性的结构元素，平移了形状，并在标准的二维和三维编辑基准上取得了有竞争力的结果。此外，我们的方法不施加如掩码或预训练等约束，使其与各种预训练的扩散模型兼容。这使得无需神经场到网格的转换即可进行多功能的编辑，提供了更用户友好的体验。