ZeST: 基于单张图像的零样本材质迁移
计算机视觉与模式识别
2024-04-10 v1
摘要
我们提出ZeST，一种零样本材质迁移方法，给定一个材质示例图像，将材质迁移到输入图像中的物体上。ZeST利用现有的扩散适配器从示例图像中提取隐式材质表示。该表示用于通过预训练的修复扩散模型将材质迁移到输入图像中的物体上，使用深度估计作为几何线索，灰度物体阴影作为光照线索。该方法适用于真实图像，无需任何训练，是一种零样本方法。在真实和合成数据集上的定性和定量结果表明，ZeST输出具有迁移材质的逼真图像。我们还展示了ZeST在不同光照下进行多次编辑和鲁棒材质分配的应用。项目页面：https://ttchengab.github.io/zest
引用
@article{arxiv.2404.06425,
title = {ZeST: Zero-Shot Material Transfer from a Single Image},
author = {Ta-Ying Cheng and Prafull Sharma and Andrew Markham and Niki Trigoni and Varun Jampani},
journal= {arXiv preprint arXiv:2404.06425},
year = {2024}
}
备注
Project Page: https://ttchengab.github.io/zest