基于扩散模型的数据高效油画笔触生成
计算机视觉与模式识别
2026-03-03 v1
摘要
许多创意多媒体系统构建于视觉原语（如笔触或纹理）之上，这些原语在规模方面难以收集，并且在本质上与自然图像数据存在差异。这种数据稀缺性使得现代生成模型难以学习富有表现力且可控的原语，限制了其在过程感知内容创建中的应用。在本工作中，我们研究了从小规模手绘样本（n=470）中学习类人笔触生成的问题，提出了基于扩散模型的 StrokeDiff 框架，引入平滑正则化 (SmR)。SmR 在训练期间注入随机视觉先验，为在稀疏监督下稳定扩散模型提供了简单机制，而不改变推理过程。我们进一步展示了所学习的原语可以通过基于 Bezier 的条件模块实现可控性，并集成到完整的笔触绘画管道中，包括预测、生成、排序和合成。这表明数据高效的原语建模如何支持富有表现力和结构化的多媒体内容创建。实验表明，所提出的方法能够产生多样且结构连贯的笔触，并实现纹理和层次更丰富的绘画，经自动评估指标和人类评估均得到验证。
引用
@article{arxiv.2603.01103,
title = {Data-Efficient Brushstroke Generation with Diffusion Models for Oil Painting},
author = {Dantong Qin and Alessandro Bozzon and Xian Yang and Xun Zhang and Yike Guo and Pan Wang},
journal= {arXiv preprint arXiv:2603.01103},
year = {2026}
}