流引导的可控线描画生成
计算机视觉与模式识别
2023-08-25 v2 多媒体
摘要
本文通过提出一种向量流感知且线条可控的图像到图像翻译架构，研究从照片自动可控地生成艺术角色线描画的问题，其可视为人工智能与艺术间引人瞩目的交叉。具体而言，我们首先提出图像到流网络（I2FNet）以基于学习的方式高效且鲁棒地创建向量流场，为画线提供方向引导。随后，我们引入精心设计的双流生成器（DFG）框架，融合来自所学向量流与输入图像流的特征，保证线条的空间连贯性。同时，为实现可控的角色线描画生成，我们将线控矩阵（LCM）集成入 DFG，并训练线控回归器（LCR）以通过精细控制线条细节程度（如粗细、平滑度与连续性）来合成不同风格的画作。最后，我们设计傅里叶变换损失从点的频域视角进一步约束角色线条生成。定量与定性实验表明，我们的方法在生成具有感知真实特性的高分辨率角色线描图像上可获得优越性能。
引用
@article{arxiv.2307.07540,
title = {Flow-Guided Controllable Line Drawing Generation},
author = {Chengyu Fang and Xianfeng Han},
journal= {arXiv preprint arXiv:2307.07540},
year = {2023}
}