MatCLIP：面向 PBR 材质模型的轻量级与形状不敏感的赋值
计算机视觉与模式识别
2025-08-12 v2 图形学
机器学习
摘要
为 3D 模型分配逼真的材质仍是计算机图形中的重要挑战。我们提出了 MatCLIP 方法，通过提取基于物理的渲染（PBR）材质的形状和照明不敏感描述符，将合理的纹理分配给基于图像（如潜在扩散模型（LDMs）或照片的输出）的 3D 对象。将 PBR 材质匹配到静态图像具有挑战性，因为 PBR 表示捕捉了材质在不同观察角度、形状和照明条件下的动态外观。通过扩展 Alpha-CLIP 基于材质渲染的模型，涵盖多种形状和照明条件，并为 PBR 材质编码多个观察条件，我们的方法生成桥接 PBR 表示与照片或渲染（包括 LDM 输出）的描述符。这使得在不要求显式了解不同对象部件之间材质关系的情况下，能够进行一致的材质分配。MatCLIP 在公开数据集上实现了 76.6% 的 top-1 分类准确率，显著优于 PhotoShape 和 MatAtlas 等最新方法至少 15 个百分点。本方法可用于构建面向 ShapeNet、3DCoMPaT++ 和 Objaverse 等 3D 形状数据集的材质赋值。所有代码和数据将公开发布。
引用
@article{arxiv.2501.15981,
title = {MatCLIP: Light- and Shape-Insensitive Assignment of PBR Material Models},
author = {Michael Birsak and John Femiani and Biao Zhang and Peter Wonka},
journal= {arXiv preprint arXiv:2501.15981},
year = {2025}
}
备注
Accepted at SIGGRAPH 2025 (Conference Track). Project page: https://birsakm.github.io/matclip