语义导向的3D形状生成
计算机视觉与模式识别
2025-08-19 v2 图形学
摘要
现有的3D重建方法利用诸如2D图像、3D点云、形状轮廓和单一语义等指导信息来恢复3D表面，这限制了3D建模的创造性探索。本文提出了一种新型3D建模任务，称为“语义导向的3D形状生成”，旨在创建与给定文本语义一致的几何和外观的3D模型，且从不同视角观察时效果良好。重建的3D模型包含多个语义元素，便于观察者辨别。我们采用生成模型作为先验，并解耦几何与外观之间的联系，以解决这一具有挑战性的问题。具体而言，我们提出了局部几何感知蒸馏（LGAD），一种策略性地利用多视图法线-深度扩散先验来完成部分几何，确保真实的形状生成。我们还集成了视角自适应引导比例，以实现跨视角的平滑语义过渡。对于外观建模，我们采用基于物理的渲染生成高质量的材质属性，并烘焙到可制造的网格中。大量实验结果表明，我们的方法能够生成结构规范、细节错综的几何、连贯的纹理以及平滑过渡的网格，最终呈现出视觉上令人愉悦的3D形状设计。项目页面: https://shapefromsemantics.github.io
引用
@article{arxiv.2502.00360,
title = {Shape from Semantics: 3D Shape Generation from Multi-View Semantics},
author = {Liangchen Li and Caoliwen Wang and Yuqi Zhou and Bailin Deng and Juyong Zhang},
journal= {arXiv preprint arXiv:2502.00360},
year = {2025}
}
备注
Project page: https://shapefromsemantics.github.io