神经形状编译器：文本、点云与程序间转换的统一框架

3D形状具有从底层几何到基于部件的层次结构再到语言的互补抽象，它们传达不同层次的信息。本文提出一个统一框架来在形状抽象对之间翻译：$\textit{文本}$ $\Longleftrightarrow$ $\textit{点云}$ $\Longleftrightarrow$ $\textit{程序}$。我们提出$\textbf{神经形状编译器}$将抽象转换建模为条件生成过程。它将三种抽象类型的3D形状转换为统一离散形状码，通过提出的$\textit{ShapeCode Transformer}$将每个形状码转换为其他抽象类型的码，并解码它们以输出目标形状抽象。点云码由提出的$\textit{Point}$VQVAE以类无关方式获得。在Text2Shape、ShapeGlot、ABO、Genre和Program Synthetic数据集上，神经形状编译器在$\textit{文本}$ $\Longrightarrow$ $\textit{点云}$、$\textit{点云}$ $\Longrightarrow$ $\textit{文本}$、$\textit{点云}$ $\Longrightarrow$ $\textit{程序}$以及点云补全任务中展现出优势。此外，神经形状编译器受益于在所有异构数据与任务上的联合训练。