PaintFlow:用于交互式油画编辑与生成的统一框架
计算机视觉与模式识别
2025-12-10 v1
摘要
油画作为将人类抽象思维与艺术表达融合的高级媒介,其数字化生成与编辑面临诸多挑战,主要源于复杂的笔触动力学和风格化特征。现有生成与编辑技术往往受限于训练数据的分布,主要聚焦于修改真实照片。在本工作中,我们引入一个用于油画生成与编辑的统一多模态框架。该系统允许用户利用参考图像实现精确语义控制,手绘草图实现空间结构对齐,并通过自然语言提示实现高层语义指引,同时在所有输出结果中保持统一的绘画风格。我们的 method 通过三个关键技术进展实现了交互式油画创作。首先,我们增强训练阶段的空间对齐与语义增强条件策略,将掩码和草图映射为空间约束,将参考图像和文本的上下文嵌入编码为特征约束,从而实现对象级语义对齐。其次,为克服数据稀缺问题,我们提出一种基于笔画渲染 (Stroke-Based Rendering, SBR) 的自监督风格迁移管道,模拟油画修复中的填充动力学,将真实图像转换为保持笔触纹理的风格化油画,以构建大规模的配对训练数据集。最后,在推理阶段,我们采用 AdaIN 算子集成特征,确保风格一致性。大量实验表明,我们的交互式系统在保持油画艺术特性的同时实现了精细化编辑,实现了风格化油画生成与编辑中前所未有的想象实现水平。
引用
@article{arxiv.2512.08534,
title = {PaintFlow: A Unified Framework for Interactive Oil Paintings Editing and Generation},
author = {Zhangli Hu and Ye Chen and Jiajun Yao and Bingbing Ni},
journal= {arXiv preprint arXiv:2512.08534},
year = {2025}
}
备注
14 pages