Sem-CS：用于基于文本的图像风格迁移的语义CLIPStyler
计算机视觉与模式识别
2023-07-13 v1
摘要
CLIPStyler仅使用风格文本描述（而非需要参考风格图像）即展示了具真实纹理的图像风格迁移。然而，由于显著对象与背景对象上的风格溢出（内容失配）或过度风格化，风格迁移输出中对象的底层语义丢失。为此，我们提出语义CLIPStyler（Sem-CS），其执行语义风格迁移。Sem-CS首先将内容图像分割为显著与非显著对象，随后基于给定风格文本描述迁移艺术风格。该语义风格迁移通过全局前景损失（针对显著对象）与全局背景损失（针对非显著对象）实现。我们的经验结果（包括DISTS、NIMA与用户研究分数）表明，我们所提框架取得了更优的定性与定量性能。我们的代码见github.com/chandagrover/sem-cs。
引用
@article{arxiv.2307.05934,
title = {Sem-CS: Semantic CLIPStyler for Text-Based Image Style Transfer},
author = {Chanda Grover Kamra and Indra Deep Mastan and Debayan Gupta},
journal= {arXiv preprint arXiv:2307.05934},
year = {2023}
}
备注
5 pages, 4 Figures, 2 Tables. arXiv admin note: substantial text overlap with arXiv:2303.06334