跨模态三维形状生成与操控

创建与编辑三维物体的形状及颜色需要大量人力与专业知识。与在三维界面中直接操控相比，草图与涂鸦等二维交互对用户通常更自然直观。本文提出一种通用多模态生成模型，通过共享潜空间将二维模态与隐式三维表示相耦合。借助该模型，仅需将特定二维控制模态的编辑通过潜空间传播，即可实现多样的三维生成与操控。例如：通过绘制草图编辑三维形状、在二维渲染上涂画颜色涂鸦为重着色三维表面、或给定一张或少数参考图像生成某类别的三维形状。与先前工作不同，我们的模型无需针对每项编辑任务重新训练或微调，且在概念上简洁、易于实现、对输入域偏移鲁棒，并可灵活应对部分二维输入的多样重建。我们在灰度线草图与渲染彩色图像这两种代表性二维模态上评估了框架，并展示我们的方法可借助这些二维模态实现多种形状操控与生成任务。