3D-WAG:用于高保真 3D 形状的分层小波引导自回归生成
计算机视觉与模式识别
2026-01-12 v3
摘要
自回归(AR)模型在自然语言和图像生成领域取得了显著成功,但其在 3D 形状建模中的应用仍鲜有探索。不同于扩散模型,AR 模型能够实现更高效、可控的生成,并具备更快的推理速度,尤其适用于数据密集型领域。传统基于 AR 方法的 3D 生成模型通常依赖于基于体素或点的“下一个标记”预测。虽然为特定应用有效,但在处理大规模 3D 数据时,这些方法会显得受限且计算昂贵。为应对这些挑战,我们提出了 3D-WAG,这是一种用于 3D 隐式距离场的 AR 模型,能够实现无条件形状生成、类别条件生成以及文本条件生成。我们的核心思想是将形状编码为多尺度小波标记图,并使用 Transformer 按自回归方式预测“下一个更高分辨率标记图”。通过将 3D AR 生成任务重新定义为“下一个尺度”预测,我们在计算成本上优于传统的“下一个标记”预测模型,同时在更结构化和分层的方式下保留 3D 形状的关键几何细节。我们通过在广泛使用的基准数据集上的定性和定量比较,展示了 3D-WAG 的优势。我们的结果表明,3D-WAG 在诸如覆盖率和 MMD 等关键指标上实现了卓越的性能,生成的高保真 3D 形状与真实数据分布高度吻合。
关键词
引用
@article{arxiv.2411.19037,
title = {3D-WAG: Hierarchical Wavelet-Guided Autoregressive Generation for High-Fidelity 3D Shapes},
author = {Tejaswini Medi and Arianna Rampini and Pradyumna Reddy and Pradeep Kumar Jayaraman and Margret Keuper},
journal= {arXiv preprint arXiv:2411.19037},
year = {2026}
}