DragTex：基于生成式点操作的 3D Mesh 纹理编辑
计算机视觉与模式识别
2024-03-05 v1
摘要
使用生成式人工智能创建 3D 纹理 mesh 近期引起了广泛关注。尽管现有方法支持在 3D mesh 上进行基于文本的生成式纹理生成或编辑，但它们往往难以通过更直观的交互来精确控制纹理图像的像素。虽然 2D 图像可以通过拖拽交互进行生成式编辑，但将此类方法直接应用于 3D mesh 纹理仍会导致多视图间缺乏局部一致性、误差累积和训练时间长等问题。为了解决这些挑战，我们提出了一种名为 DragTex 的基于生成式点操作的 3D mesh 纹理编辑方法。该方法利用扩散模型融合不同视图间变形轮廓附近区域内的局部不一致纹理，从而实现局部一致的纹理编辑。此外，我们微调了一个解码器以减少非拖拽区域的重建误差，从而缓解整体误差累积。而且，我们使用多视图图像训练 LoRA，而非单独训练每个视图，这显著缩短了训练时间。实验结果表明，我们的方法有效地实现了在 3D mesh 上拖拽纹理，并生成符合拖拽交互意图的合理纹理。
引用
@article{arxiv.2403.02217,
title = {DragTex: Generative Point-Based Texture Editing on 3D Mesh},
author = {Yudi Zhang and Qi Xu and Lei Zhang},
journal= {arXiv preprint arXiv:2403.02217},
year = {2024}
}