FastCLIPstyler：基于文本的无优化图像风格迁移方法及其风格表示
计算机视觉与模式识别
2024-09-11 v4 人工智能
机器学习
摘要
近年来，语言驱动的艺术风格迁移作为一种新型风格迁移技术崭露头角，其利用自然语言对风格的描述，无需参考风格图像。首个实现该目标的模型 CLIPstyler 已展现出令人印象深刻的风格化结果。然而，其在运行时针对每个查询所需的冗长优化过程限制了其在许多实际应用中的适用性。在本工作中，我们提出 FastCLIPstyler，一种通用的基于文本的图像风格迁移模型，能够在单次前向传播中对任意文本输入进行图像风格化。此外，我们引入 EdgeCLIPstyler，一种为适配资源受限设备而设计的轻量级模型。通过与最先进方法（SOTA）的定量与定性比较，我们证明我们的模型在可度量指标上实现了更优的风格化质量，同时显著提升了运行效率，尤其在边缘设备上。
引用
@article{arxiv.2210.03461,
title = {FastCLIPstyler: Optimisation-free Text-based Image Style Transfer Using Style Representations},
author = {Ananda Padhmanabhan Suresh and Sanjana Jain and Pavit Noinongyao and Ankush Ganguly and Ukrit Watchareeruetai and Aubin Samacoits},
journal= {arXiv preprint arXiv:2210.03461},
year = {2024}
}
备注
Accepted at the 2024 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV 2024)