InTeX：基于统一深度感知修复的交互式文本到纹理合成
计算机视觉与模式识别
2024-03-19 v1
摘要
得益于文本到图像模型的最新进展，文本到纹理合成已成为 3D 内容创作的新前沿。现有方法主要采用预训练的深度感知扩散模型与修复模型的组合，但它们表现出 3D 不一致性和可控性有限等缺点。为了应对这些挑战，我们引入了 InteX，一个用于交互式文本到纹理合成的新颖框架。1) InteX 包含一个用户友好的界面，可在整个合成过程中促进交互与控制，实现特定区域的重新绘制和精确的纹理编辑。2) 此外，我们开发了一个统一的深度感知修复模型，将深度信息与修复线索相结合，有效缓解了 3D 不一致性问题并提高了生成速度。通过大量实验，我们的框架被证明在文本到纹理合成方面既实用又有效，为高质量 3D 内容创作铺平了道路。
引用
@article{arxiv.2403.11878,
title = {InTeX: Interactive Text-to-texture Synthesis via Unified Depth-aware Inpainting},
author = {Jiaxiang Tang and Ruijie Lu and Xiaokang Chen and Xiang Wen and Gang Zeng and Ziwei Liu},
journal= {arXiv preprint arXiv:2403.11878},
year = {2024}
}
备注
Project Page: https://me.kiui.moe/intex/