ScribbleSense：基于意图预测的手绘纹理生成编辑
计算机视觉与模式识别
2026-02-02 v1
摘要
交互式 3D 模型纹理编辑为创建 3D 资产提供了更好的机会，其中自由手绘风格的编辑体验最为直观。然而，现有方法主要支持基于草图的交互以勾勒轮廓，而粗粒度手绘交互的利用仍有限。此外，当前方法面临抽象性强的手绘指令带来的挑战，这可能导致编辑意图模糊且目标语义位置不清晰。为此，我们提出 ScribbleSense，一种结合多模态大型语言模型（Multimodal Large Language Models, MLLMs）和图像生成模型的方法，以有效解决上述挑战。我们利用 MLLMs 的视觉能力预测手绘背后的编辑意图。一旦确定手绘的语义意图，我们采用全局生成图像提取局部纹理细节，从而锚定局部语义，缓解关于目标语义位置的模糊性。实验结果表明，我们的方法有效利用了 MLLMs 的优势，实现了基于手绘纹理编辑的 SOTA 交互式编辑性能。
引用
@article{arxiv.2601.22455,
title = {ScribbleSense: Generative Scribble-Based Texture Editing with Intent Prediction},
author = {Yudi Zhang and Yeming Geng and Lei Zhang},
journal= {arXiv preprint arXiv:2601.22455},
year = {2026}
}
备注
Accepted by IEEE TVCG. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses