NaTex：基于潜在色彩扩散的无缝纹理生成
计算机视觉与模式识别
2025-11-21 v1
摘要
我们提出 NaTex，一个在 3D 空间中直接预测纹理色彩的本土纹理生成框架。不同于依赖几何条件 Multi-View Diffusion 模型 (MVD) 合成的 2D 多视图图像烘焙的先前方法，NaTex 避免了 MVD 管道的若干固有局限性，包括难以处理遮挡区域需要插值、在边界上实现精确的网格-纹理对齐以及维持跨视图内容和色彩强度的一致性与连贯性。NaTex 的核心是将纹理视为稠密色彩点云的新范式。基于这一思想，我们提出潜在色彩扩散，其包括几何感知的色彩点云 VAE 和多控制扩散转换器 (DiT)，完全使用 3D 数据从头训练，用于纹理重建和生成。为实现精确对齐，我们引入本土几何控制，通过位置嵌入和几何潜变量对 DiT 进行条件化。我们协同设计了 VAE-DiT 架构，其中通过专用的几何分支紧密耦合于色彩 VAE，从而获得细粒度的表面引导，保持与纹理的强关联。通过这些设计，NaTex 在纹理连贯性和对齐方面显著优于先前方法。此外，NaTex 也表现出强大的泛化能力，无需训练或仅需简单调参即可应用于各种下游任务，例如材料生成、纹理细化和零件分割与纹理化。
引用
@article{arxiv.2511.16317,
title = {NaTex: Seamless Texture Generation as Latent Color Diffusion},
author = {Zeqiang Lai and Yunfei Zhao and Zibo Zhao and Xin Yang and Xin Huang and Jingwei Huang and Xiangyu Yue and Chunchao Guo},
journal= {arXiv preprint arXiv:2511.16317},
year = {2025}
}
备注
Technical Report