神经拼贴迁移：通过材料操控进行艺术重建
计算机视觉与模式识别
2023-11-07 v1 人工智能
摘要
拼贴是一种以多样材料碎片为基本单元来构成单一图像的创造性艺术形式。尽管像素级生成技术能以拼贴风格复现目标图像，但由于拼贴形式具有逐笔实心的特性，该方法并不合适。虽然先前一些基于笔触的绘制工作生成了不错的素描与绘画，但拼贴作为一种流行风格，在研究中所受关注却少得多。本文提出一种通过强化学习来制作拼贴的方法，无需示范或拼贴艺术作品数据。我们设计了拼贴马尔可夫决策过程（MDP），使智能体能够处理各种材料，并提出基于模型的软演员-评论家（soft actor-critic）方法，以缓解由拼贴复杂动态带来的智能体训练负担。此外，我们设计了主动材料选择和基于复杂度的多尺度拼贴等附加技术，以处理任意尺寸的目标图像，并通过在复杂度较高区域放置相对更多的碎片来提升结果的美感。实验结果表明，训练后的智能体能够恰当选择并粘贴材料，将目标图像重生成拼贴画，并在内容与风格上获得高于像素级生成方法的评价分数。代码见 https://github.com/northadventure/CollageRL。
引用
@article{arxiv.2311.02202,
title = {Neural Collage Transfer: Artistic Reconstruction via Material Manipulation},
author = {Ganghun Lee and Minji Kim and Yunsu Lee and Minsu Lee and Byoung-Tak Zhang},
journal= {arXiv preprint arXiv:2311.02202},
year = {2023}
}
备注
ICCV 2023