PASTA：基于文本对齐先验的部分感知草图到 3D 形状生成
计算机视觉与模式识别
2025-03-18 v1 人工智能
摘要
条件 3D 形状生成的根本挑战在于最小化信息丢失并最大化用户输入的意图。现有方法主要聚焦于两种孤立的条件信号，即用户草图和文本描述，均无法提供对生成形状的灵活控制。本文引入 PASTA，一种无缝集成用户草图与文本描述的灵活方法，用于 3D 形状生成。关键思想是利用来自视觉语言模型的文本嵌入来丰富草图的语义表示。具体而言，这些文本派生的先验指定物体的部件组成，弥补了模糊草图中缺失的视觉线索。此外，我们引入 ISG-Net，采用两种图卷积网络：IndivGCN 处理细粒度细节，PartGCN 将这些细节聚合为部件并细化物体结构。广泛的实验表明，PASTA 在部件级编辑方面优于现有方法，并在草图到 3D 形状生成任务中实现了最新成果。
引用
@article{arxiv.2503.12834,
title = {PASTA: Part-Aware Sketch-to-3D Shape Generation with Text-Aligned Prior},
author = {Seunggwan Lee and Hwanhee Jung and Byoungsoo Koh and Qixing Huang and Sangho Yoon and Sangpil Kim},
journal= {arXiv preprint arXiv:2503.12834},
year = {2025}
}
备注
19 pages, 18 figures