Sketch-A-Shape：零样本草图到三维形状生成
计算机视觉与模式识别
2023-07-11 v1
摘要
近期，大型预训练模型在 3D 视觉下游任务（如文本到形状生成）中的创造性应用取得了显著进展。这促使我们研究如何有效利用这些预训练模型从草图生成 3D 形状，由于草图-形状配对数据集有限且草图抽象程度不一，该问题在很大程度上仍是一项开放挑战。我们发现，在训练时将 3D 生成模型以合成渲染图的特征（取自冻结的大型预训练视觉模型）为条件，能使我们在推理时有效地从草图生成 3D 形状。这表明大型预训练视觉模型特征携带对域偏移具有鲁棒性的语义信号，即允许我们仅使用 RGB 渲染图，却能在推理时泛化至草图。我们开展了一组综合实验来研究不同设计因素，并证明了我们这一直接方法的有效性：无需训练时使用任何配对数据集，即可为每个输入草图（不论其抽象程度）生成多个 3D 形状。
引用
@article{arxiv.2307.03869,
title = {Sketch-A-Shape: Zero-Shot Sketch-to-3D Shape Generation},
author = {Aditya Sanghi and Pradeep Kumar Jayaraman and Arianna Rampini and Joseph Lambourne and Hooman Shayani and Evan Atherton and Saeid Asgari Taghanaki},
journal= {arXiv preprint arXiv:2307.03869},
year = {2023}
}