重新思考用于3D编辑与生成的分数蒸馏采样
计算机视觉与模式识别
2025-05-06 v1
摘要
分数蒸馏采样（SDS）通过利用2D扩散模型的优势，已成为文本到3D生成的一种重要方法。然而，SDS仅限于生成任务，缺乏编辑现有3D资产的能力。相反，引入编辑能力的SDS变体通常无法有效生成新的3D资产。在这项工作中，我们观察到SDS及其变体中的生成和编辑过程具有统一的底层梯度项。基于这一洞察，我们提出了统一蒸馏采样（UDS），这是一种无缝集成3D资产生成与编辑的方法。本质上，UDS细化了原始SDS方法中使用的梯度项，将它们统一起来以支持这两项任务。大量实验表明，UDS不仅在生成细节更丰富的3D资产方面优于基线方法，而且在编辑任务中也表现出色，从而弥合了3D生成与编辑之间的差距。代码可在以下链接获取：https://github.com/xingy038/UDS。
引用
@article{arxiv.2505.01888,
title = {Rethinking Score Distilling Sampling for 3D Editing and Generation},
author = {Xingyu Miao and Haoran Duan and Yang Long and Jungong Han},
journal= {arXiv preprint arXiv:2505.01888},
year = {2025}
}