Plasticine3D：通过多视图嵌入优化的文本引导三维非刚性编辑
计算机视觉与模式识别
2024-07-10 v2
摘要
借助分数蒸馏采样（SDS）和神经三维表示的快速发展，已有方法被提出用于执行三维编辑，例如添加额外几何体或覆盖纹理。然而，广义的三维非刚性编辑任务——需要同时改变原始物体的结构（姿态或构成）和外观（纹理）——在三维编辑领域仍然具有挑战性。本文提出Plasticine3D，一种新颖的文本引导细粒度可控三维编辑流水线，能够执行具有大结构变形的三维非刚性编辑。我们的工作将编辑过程分为几何编辑阶段和纹理编辑阶段，以实现结构和外观的独立控制。为了从不同视角保持原始物体的细节，我们提出了一种多视图嵌入（MVE）优化策略，确保引导模型从各个视角学习原始物体的特征。为了实现细粒度控制，我们提出了嵌入融合（EF），在嵌入空间中将原始特征与编辑目标融合，并通过调整融合率来控制编辑程度。此外，为了解决高编辑强度下生成过程中细节逐渐丢失的问题，以及某些场景下编辑效果不显著的问题，我们提出了分数投影采样（SPS）替代分数蒸馏采样，引入了额外的优化阶段用于编辑目标增强和原始细节保持，从而获得更好的编辑质量。大量实验证明了我们的方法在三维非刚性编辑任务上的有效性。
引用
@article{arxiv.2312.10111,
title = {Plasticine3D: 3D Non-Rigid Editing with Text Guidance by Multi-View Embedding Optimization},
author = {Yige Chen and Teng Hu and Yizhe Tang and Siyuan Chen and Ang Chen and Ran Yi},
journal= {arXiv preprint arXiv:2312.10111},
year = {2024}
}