Make-it-Real: 释放大型多模态模型为 3D 物体绘制具有真实材质
计算机视觉与模式识别
2024-05-27 v3 人工智能
计算与语言
摘要
在各类应用和光照条件下,物理真实的材质对于提升 3D 资产的真实感至关重要。然而,现有的 3D 资产与生成模型通常缺乏真实的材质属性。使用图形软件手动分配材质是一项繁琐且耗时的工作。本文利用多模态大语言模型(MLLMs)的进展,特别是 GPT-4V,提出了一种新颖的方法 Make-it-Real:1) 我们展示了 GPT-4V 能够有效识别和描述材质,从而构建详细的材质库;2) 结合视觉线索与层次化文本提示,GPT-4V 能够精确识别材质并将其与 3D 物体的对应组件进行对齐;3) 随后,将正确匹配的材质作为参考,根据原始反照率贴图生成新的 SVBRDF 材质,显著增强了其视觉真实感。Make-it-Real 实现了与 3D 内容创作工作流的顺畅整合,展示了其作为 3D 资产开发者重要工具的实用价值。
引用
@article{arxiv.2404.16829,
title = {Make-it-Real: Unleashing Large Multimodal Model for Painting 3D Objects with Realistic Materials},
author = {Ye Fang and Zeyi Sun and Tong Wu and Jiaqi Wang and Ziwei Liu and Gordon Wetzstein and Dahua Lin},
journal= {arXiv preprint arXiv:2404.16829},
year = {2024}
}
备注
Project Page: https://sunzey.github.io/Make-it-Real/