图像到图像转换与风格迁移的分析
计算机视觉与模式识别
2024-08-13 v1 图像与视频处理
摘要
随着深度学习中生成技术的发展,近年来大量图像到图像转换和风格迁移模型以爆发式涌现。这两项技术取得了显著进展,能够生成逼真的图像。然而,许多社区倾向于混淆两者,因为两者都基于输入图像生成期望图像,且两者都涉及内容和风格的定义。事实上,两者之间确实存在显著差异,目前缺乏清晰的解释来区分这两种技术,这不利于技术的进步。本文希望通过介绍图像到图像转换与风格迁移之间的差异和联系来服务整个社区。整个讨论过程涉及两种技术的概念、形式、训练模式、评估过程和可视化结果。最后,本文得出结论:图像到图像转换按域划分图像,域内图像类型有限,涉及范围小,但转换能力强,能够实现强语义变化。风格迁移按单幅图像划分图像类型,涉及范围大,但迁移能力有限,更多地迁移图像的纹理和颜色。
引用
@article{arxiv.2408.06000,
title = {An Analysis for Image-to-Image Translation and Style Transfer},
author = {Xiaoming Yu and Jie Tian and Zhenhua Hu},
journal= {arXiv preprint arXiv:2408.06000},
year = {2024}
}