Paint Transformer：基于笔画预测的的前馈式神经绘画
计算机视觉与模式识别
2021-08-12 v2
摘要
神经绘画是指为给定图像生成一系列笔画并利用神经网络非照片写实性地重现该图像的过程。尽管基于强化学习（RL）的智能体可以逐步生成该任务的笔画序列，但训练稳定的 RL 智能体并不容易。另一方面，笔画优化方法在巨大搜索空间中迭代搜索一组笔画参数；这种低效率显著限制了它们的普及与实用性。与以往方法不同，本文将任务表述为集合预测问题，并提出一种新颖的基于 Transformer 的框架，称为 Paint Transformer，用前馈网络预测一组笔画的参数。这样，我们的模型可以并行生成一组笔画，并在近实时内获得尺寸为 512 * 512 的最终绘画。更重要的是，由于没有任何可用数据集来训练 Paint Transformer，我们设计了一种自训练流程，使其无需任何现成数据集即可训练，同时仍具备优异的泛化能力。实验表明，我们的方法以更低的训练和推理成本实现了优于以往方法的绘画性能。代码与模型已公开。
引用
@article{arxiv.2108.03798,
title = {Paint Transformer: Feed Forward Neural Painting with Stroke Prediction},
author = {Songhua Liu and Tianwei Lin and Dongliang He and Fu Li and Ruifeng Deng and Xin Li and Errui Ding and Hao Wang},
journal= {arXiv preprint arXiv:2108.03798},
year = {2021}
}
备注
Accepted by ICCV 2021 (oral). Codes will be released on https://github.com/wzmsltw/PaintTransformer