PaCaNet：基于迁移学习 CycleGAN 以多样化融合中国画与书法的研究
计算机视觉与模式识别
2023-05-23 v5
摘要
AI 生成内容（AIGC）近期因生产高效一致、可定制多样化而广受欢迎。多数 AIGC 技术中表征学习的跨模态特性，为探索过去不可能的新艺术类型提供了更多自由与灵活度。受汉字象形子集启发，我们提出 PaCaNet，一种基于 CycleGAN 的流水线，用于生成融合传统中国画与书法两种不同艺术类型的新颖作品。为产出稳定且多样化的结果，我们采用三项主要技术创新：1. 使用一次性学习（one-shot learning）提升预训练模型的创造力并丰富融合图像内容。2. 通过冻结预训练模型中随机采样的参数来控制对生成中文书法的偏好。3. 使用正则化方法鼓励模型生成近似中国画的图片。此外，我们开展了系统研究以探索 PaCaNet 在多样化融合中国画与书法上的表现，结果令人满意。综上，我们提供了通过融合绘画视觉信息与书法笔画特征来创作艺术的新方向。我们的方法根植于中国象形文字起源，创造了独特的审美体验，也是深入传统艺术并借此对保护及振兴传统遗产产生有意义影响的独特契机。
引用
@article{arxiv.2301.13082,
title = {PaCaNet: A Study on CycleGAN with Transfer Learning for Diversifying Fused Chinese Painting and Calligraphy},
author = {Zuhao Yang and Huajun Bai and Zhang Luo and Yang Xu and Wei Pang and Yue Wang and Yisheng Yuan and Yingfang Yuan},
journal= {arXiv preprint arXiv:2301.13082},
year = {2023}
}