SHAP-EDITOR：秒级指令引导的潜在 3D 编辑
计算机视觉与模式识别
2023-12-15 v1
摘要
我们提出了一种名为 Shap-Editor 的新型前馈 3D 编辑框架。先前关于编辑 3D 物体的研究主要集中在利用现成的 2D 图像编辑网络来编辑单个物体。这是通过称为蒸馏的过程实现的，该过程将知识从 2D 网络转移到 3D 资产。蒸馏每个资产至少需要数十分钟才能获得令人满意的编辑结果，因此不太实用。相比之下，我们探讨是否可以直接由前馈网络执行 3D 编辑，从而避免测试时优化。特别是，我们假设首先将 3D 物体编码到合适的潜在空间中可以大大简化编辑过程。我们通过在 Shap-E 的潜在空间基础上构建来验证这一假设。我们证明，通过构建一个前馈编辑器网络，在此空间中进行直接 3D 编辑是可行且高效的，每次编辑仅需约一秒。我们的实验表明，Shap-Editor 能很好地泛化到具有不同提示的分布内和分布外 3D 资产，其性能与对每个编辑实例执行测试时优化的方法相当。
引用
@article{arxiv.2312.09246,
title = {SHAP-EDITOR: Instruction-guided Latent 3D Editing in Seconds},
author = {Minghao Chen and Junyu Xie and Iro Laina and Andrea Vedaldi},
journal= {arXiv preprint arXiv:2312.09246},
year = {2023}
}
备注
Project Page: https://silent-chen.github.io/Shap-Editor/