基于笔画的神经网络绘画与风格化：动态预测绘画区域
计算机视觉与模式识别
2023-10-11 v2
摘要
基于笔画的绘制旨在用一组笔画重建图像。大多数现有方法使用均匀分块策略绘制复杂图像，这会导致边界不一致伪影。为解决该问题，我们提出 Compositional Neural Painter，一种新颖的基于笔画的绘制框架，它基于当前画布动态预测下一个绘画区域，而非将图像平面均匀划分为绘画区域。我们从一个空白画布开始，将绘制过程分为若干步骤。在每一步中，使用阶段性强化学习策略训练的合成网络首先预测下一个绘画区域，随后使用 WGAN 判别器训练的绘制网络预测笔画参数，并由笔画渲染器将笔画绘制到当前画布的绘画区域上。此外，我们将方法扩展至基于笔画的风格迁移，提出一种新颖的可微距离变换损失，有助于在基于笔画的风格化过程中保留输入图像的结构。大量实验表明，我们的模型在基于笔画的神经网络绘画和基于笔画的风格化上均优于现有模型。代码见 https://github.com/sjtuplayer/Compositional_Neural_Painter
引用
@article{arxiv.2309.03504,
title = {Stroke-based Neural Painting and Stylization with Dynamically Predicted Painting Region},
author = {Teng Hu and Ran Yi and Haokun Zhu and Liang Liu and Jinlong Peng and Yabiao Wang and Chengjie Wang and Lizhuang Ma},
journal= {arXiv preprint arXiv:2309.03504},
year = {2023}
}
备注
ACM MM 2023