MeshAnything：基于自回归 Transformer 的艺术家创建网格生成
计算机视觉与模式识别
2024-10-10 v2 人工智能
摘要
最近，3D资产通过重建和生成方式制作，质量已接近人工精细制作的资产，凸显了其替代潜力。然而，这一潜力 largely 未被实现，因为这些资产始终需要转换为网格以适用于3D行业应用，而当前网格提取方法生成的网格显著低于人工精细制作的网格(AM)。具体而言，当前网格提取方法依赖稠密面，忽视几何特征，导致效率低下、后期处理复杂且表示质量较差。为此，我们引入MeshAnything，将网格提取视为生成问题，产生与指定形状一致的AM。通过将任意3D表示的3D资产转换为AM，MeshAnything可以与各种3D资产生产方法集成，从而提升其在3D行业中的应用。MeshAnything的架构包含一个VQ-VAE和一个形状条件解码器专用Transformer。我们首先使用VQ-VAE学习网格词汇表，然后在该词汇表上进行形状条件自回归网格生成训练。我们的广泛实验表明，该方法生成的AM面数少了数百倍，显著提高了存储、渲染和仿真效率，同时实现了与先前方法相当的精度。
引用
@article{arxiv.2406.10163,
title = {MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers},
author = {Yiwen Chen and Tong He and Di Huang and Weicai Ye and Sijin Chen and Jiaxiang Tang and Xin Chen and Zhongang Cai and Lei Yang and Gang Yu and Guosheng Lin and Chi Zhang},
journal= {arXiv preprint arXiv:2406.10163},
year = {2024}
}
备注
Project Page: https://buaacyw.github.io/mesh-anything/ Code: https://github.com/buaacyw/MeshAnything