PASTA：基于自回归 Transformer 的可控部件感知形状生成
计算机视觉与模式识别
2024-07-19 v1 人工智能
图形学
机器学习
摘要
日益增长的需求促使自动化 3D 内容创建流程的工具取得了显著进展，从而推动了能够生成高保真多样 3D 对象的深度生成模型的发展。本文提出 PASTA，一种用于生成高质量 3D 形状的自回归 transformer 架构。PASTA 由两个主要组件构成：一个生成对象作为棱柱体原始素序列的自回归 transformer，以及一个采用 transformer 解码器实现棱柱体序列组合并为每个对象合成高质量网格的混合网络。我们的模型分为两个阶段进行训练：首先仅使用标注的棱柱体部件作为监督训练我们的自回归生成模型，接着使用以水密网格形式的显式 3D 监督训练我们的混合网络。在 various ShapeNet 对象上的评估表明，我们的模型能够从多样化输入（例如从头生成、从部分对象、从文本和图像生成，以及受大小约束的生成）进行形状生成，通过对边界框进行显式条件控制来定义对象的边界。此外，由于我们的模型考虑了 3D 对象底层的部件结构，我们能够选择特定部件并生成该部件具有意义变体的形状。通过我们的实验，我们的模型生成的 3D 形状在现实感和多样性方面都优于现有的基于部件和非基于部件的方法，同时实现更简单易用的训练。
引用
@article{arxiv.2407.13677,
title = {PASTA: Controllable Part-Aware Shape Generation with Autoregressive Transformers},
author = {Songlin Li and Despoina Paschalidou and Leonidas Guibas},
journal= {arXiv preprint arXiv:2407.13677},
year = {2024}
}