面向3D模型的定向纹理编辑
计算机视觉与模式识别
2024-09-26 v4
摘要
纹理编辑是3D建模中的一项关键任务，允许用户自动操控3D模型的表面材质。然而，3D模型固有的复杂性和模糊的文本描述给该任务带来了挑战。为应对这一挑战，我们提出了ITEM3D，一个根据文本指令用于自动3D物体编辑的纹理编辑模型（Texture Editing Model for automatic 3D object editing according to text Instructions）。利用扩散模型和可微渲染，ITEM3D将渲染图像作为文本与3D表示之间的桥梁，并进一步优化解耦的纹理与环境贴图。先前的方法采用绝对编辑方向即分数蒸馏采样（SDS）作为优化目标，不幸导致噪声外观和文本不一致。为解决由模糊文本引起的问题，我们引入相对编辑方向，一种由源文本与目标文本之间噪声差异定义的优化目标，以释放文本与图像之间的语义歧义。此外，我们在优化过程中逐步调整方向，以进一步解决纹理域中意外的偏移。定性与定量实验表明，我们的ITEM3D在各种3D物体上优于当前最先进的方法。我们还进行了文本引导的重打光以展示对光照的显式控制。我们的项目页面：https://shengqiliu1.github.io/ITEM3D。
引用
@article{arxiv.2309.14872,
title = {Directional Texture Editing for 3D Models},
author = {Shengqi Liu and Zhuo Chen and Jingnan Gao and Yichao Yan and Wenhan Zhu and Jiangjing Lyu and Xiaokang Yang},
journal= {arXiv preprint arXiv:2309.14872},
year = {2024}
}
备注
project page: https://shengqiliu1.github.io/ITEM3D