3DStyleGLIP:基于文本引导的部件定制3D神经风格化
计算机视觉与模式识别
2024-12-10 v2 图形学
摘要
3D风格化是将特定风格应用于三维对象的过程,为通过实现针对不同场景的独特风格化3D对象的创建提供了巨大的商业潜力。近期的人工智能和文本驱动的操纵方法使得风格化过程日益直观和自动化。虽然这些方法通过最小化对手动劳动和专业知识的依赖来降低人力成本,但主要关注整体风格化,忽略了将所需风格应用于3D对象的单个组件的可能性。这一限制阻碍了对细粒度可控性的实现。为弥合这一差距,我们引入3DStyleGLIP,一个专为文本驱动、部件定制3D风格化设计的新型框架。给定3D网格和文本提示,3DStyleGLIP利用Grounded Language-Image Pre-training (GLIP)模型的视觉-语言嵌入空间对3D网格的单个部件进行局部化,并修改其外观以匹配文本提示中指定的风格。3DStyleGLIP通过端到端过程将部件局部化和风格化指导有效地集成到GLIP的共享嵌入空间中,得益于部件级风格损失和两种互补学习技术。这种神经方法满足用户对细粒度风格编辑的需求,提供高质量的部件特定风格化结果,为3D内容创建的定制和灵活性开辟了新的可能性。我们的代码和结果均可在 https://github.com/sj978/3DStyleGLIP 获取。
引用
@article{arxiv.2404.02634,
title = {3DStyleGLIP: Part-Tailored Text-Guided 3D Neural Stylization},
author = {SeungJeh Chung and JooHyun Park and HyeongYeop Kang},
journal= {arXiv preprint arXiv:2404.02634},
year = {2024}
}
备注
12 pages, 8 figures, 2024 Pacific Graphics Conferences (PG 2024)