SKED：草图引导的基于文本的 3D 编辑
计算机视觉与模式识别
2023-08-22 v4 图形学
摘要
文本到图像扩散模型正逐渐引入计算机图形学，近期使得开放域中文本到 3D 流水线的发展成为可能。然而，对于交互式编辑目的，通过简单的文本界面局部操控内容可能颇为费力。将用户引导的草图与文本到图像流水线结合，为用户提供更直观的控制。尽管如此，由于最先进的文本到 3D 流水线依赖于通过任意渲染视角的梯度优化神经辐射场（NeRF），以草图为条件并不直观。本文中，我们提出 SKED，一种用于编辑由 NeRF 表示的 3D 形状的技术。我们的技术利用来自不同视角的少至两张引导草图来改变现有的神经场。编辑区域通过预训练扩散模型遵循提示语义。为确保生成输出贴合所提供的草图，我们提出新颖的损失函数以生成所需编辑，同时保留基础实例的密度与辐射。我们通过若干定性与定量实验展示了所提方法的有效性。https://sked-paper.github.io/
引用
@article{arxiv.2303.10735,
title = {SKED: Sketch-guided Text-based 3D Editing},
author = {Aryan Mikaeili and Or Perel and Mehdi Safaee and Daniel Cohen-Or and Ali Mahdavi-Amiri},
journal= {arXiv preprint arXiv:2303.10735},
year = {2023}
}