通用写实风格迁移：一种轻量且自适应的方法
计算机视觉与模式识别
2024-11-22 v3 图像与视频处理
摘要
写实风格迁移旨在施加风格化的同时保持输入内容的真实感与结构。然而，现有方法常遇到色调失真、依赖成对预训练、对高分辨率输入效率低下，以及在视频风格迁移任务中需要额外约束等挑战。为解决这些问题，我们提出通用写实风格迁移（UPST）框架，可在不依赖预训练的情况下对高分辨率图像与视频实现精准的写实风格迁移。我们的方法集成轻量 StyleNet 进行逐实例迁移，确保色调准确的同时支持高分辨率输入、保持快速处理速度并免除预训练需求。为进一步提升真实感与效率，我们引入实例自适应优化，其具备自适应系数以优先内容图像真实感，并采用早停加速网络收敛。此外，凭借其强大的非颜色信息保持能力，UPST 无需额外约束即可实现无缝视频风格迁移。实验结果表明，UPST 持续产生写实输出并显著减少 GPU 内存占用，使其成为各类写实风格迁移任务的有效通用方案。
引用
@article{arxiv.2309.10011,
title = {Universal Photorealistic Style Transfer: A Lightweight and Adaptive Approach},
author = {Rong Liu and Enyu Zhao and Zhiyuan Liu and Andrew Feng and Scott John Easley},
journal= {arXiv preprint arXiv:2309.10011},
year = {2024}
}