利用 AI 延续著名艺术作品:一种条件对抗网络图像修复方法
计算机视觉与模式识别
2022-02-02 v3 图形学
摘要
受真实艺术作品启发的图像合成领域的许多 SOTA 方法,要么完全通过过滤随机噪声进行生成,要么受风格迁移启发。本研究探索了图像修复在延续著名艺术作品并利用 Conditional GAN 生成艺术图像方面的应用。在该过程的训练阶段,图像的边缘被裁剪,仅保留中心部分。随后,一个修复 GAN 负责通过最小化对抗损失和绝对差异损失,学习从中心裁剪图像重建原始图像,并通过 Fréchet Inception Distances 和人工观察对结果进行分析与展示。网络训练完成后,图像被调整大小而非裁剪,并作为输入提供给生成器。经过学习过程后,生成器通过从原始作品边缘开始延续,创造出新图像。使用 4766 幅风景画(印象派和浪漫主义)、1167 幅日本江户时代的浮世绘作品以及 4968 幅抽象艺术作品的数据集进行了三项实验。结果表明,在扩展真实艺术作品时,生成器实现了几何与纹理(包括画布和颜料)以及天空、云彩、水、土地(包括丘陵和山脉)、草地和花朵等景色的生成。在浮世绘实验中观察到,即使原始图像中没有任何文字,由于输入图像中存在未绘制的边缘,也生成了书写文字等特征。
引用
@article{arxiv.2110.09170,
title = {Continuation of Famous Art with AI: A Conditional Adversarial Network Inpainting Approach},
author = {Jordan J. Bird},
journal= {arXiv preprint arXiv:2110.09170},
year = {2022}
}