QuantArt：面向高视觉保真度的图像风格迁移量化
计算机视觉与模式识别
2023-06-07 v2 机器学习
多媒体
图像与视频处理
摘要
现有风格迁移算法的机制是通过最小化混合损失函数，推动生成图像在内容和风格上达到高相似度。然而，这类方法无法保证视觉保真度，即生成的艺术作品应与真实作品难以区分。在本文中，我们设计了一个名为 QuantArt 的新风格迁移框架，用于高视觉保真度的风格化。QuantArt 利用向量量化，将生成艺术作品的潜在表示推向真实艺术作品分布的质心。通过融合量化与连续的潜在表示，QuantArt 允许在内容保留、风格相似性和视觉保真度方面对生成的艺术作品进行灵活控制。在各种风格迁移设置下的实验表明，与现有的风格迁移方法相比，我们的 QuantArt 框架实现了显著更高的视觉保真度。
引用
@article{arxiv.2212.10431,
title = {QuantArt: Quantizing Image Style Transfer Towards High Visual Fidelity},
author = {Siyu Huang and Jie An and Donglai Wei and Jiebo Luo and Hanspeter Pfister},
journal= {arXiv preprint arXiv:2212.10431},
year = {2023}
}
备注
Accepted to CVPR 2023. Code is available at https://github.com/siyuhuang/QuantArt