AesUST：面向美学增强的通用风格迁移
计算机视觉与模式识别
2022-08-30 v1
摘要
近期的研究在通用风格迁移方面取得了显著成功，其将任意视觉风格迁移到内容图像。然而，现有方法存在美学不真实的问题，会引入不和谐的图案与明显伪影，使结果易于从真实绘画中辨别出来。为应对该局限，我们提出 AesUST，一种新颖的美学增强通用风格迁移方法，能为任意风格生成在美学上更真实且令人愉悦的结果。具体而言，我们的方法引入一个美学判别器，从大量艺术家创作的绘画语料中学习通用的令人愉悦的人类美学特征。随后，这些美学特征通过一种新颖的美学感知风格注意力（AesSA）模块被融入以增强风格迁移过程。该 AesSA 模块使我们的 AesUST 能够根据风格图像的全局美学通道分布与内容图像的局部语义空间分布，高效且灵活地整合风格图案。此外，我们还开发了一种带两种美学正则化的两阶段迁移训练策略，以更有效地训练模型，进一步提升风格化性能。大量实验与用户研究表明，我们的方法比当前最优方法合成出美学上更和谐、更真实的结果，极大缩小了与真实艺术家创作绘画的差距。我们的代码见 https://github.com/EndyWon/AesUST。
引用
@article{arxiv.2208.13016,
title = {AesUST: Towards Aesthetic-Enhanced Universal Style Transfer},
author = {Zhizhong Wang and Zhanjie Zhang and Lei Zhao and Zhiwen Zuo and Ailin Li and Wei Xing and Dongming Lu},
journal= {arXiv preprint arXiv:2208.13016},
year = {2022}
}
备注
Accepted by ACM MM 2022