语言驱动的图像风格迁移
计算机视觉与模式识别
2022-07-19 v3
摘要
尽管风格迁移已取得令人鼓舞的结果，但其需预先准备风格图像，可能导致创造力与可及性不足。另一方面，遵循人类指令是进行艺术风格迁移最自然的方式，可显著提升视觉特效应用的可控性。我们提出一项新任务——语言驱动的艺术风格迁移（LDAST），以文本为指导操控内容图像的风格。我们提出对比语言视觉艺术家（CLVA），其学习从风格指令中提取视觉语义，并通过分块风格判别器完成 LDAST。该判别器考虑语言与风格图像或迁移结果块之间的关联，以联合嵌入风格指令。CLVA 进一步对比内容图像与风格指令的对比对，以改进相互关联性。同一内容图像的结果可保持一致的内容结构。此外，它们应呈现来自含相似视觉语义的风格指令的类似风格模式。实验表明，我们的 CLVA 有效，并在 LDAST 上取得了优异的迁移结果。
引用
@article{arxiv.2106.00178,
title = {Language-Driven Image Style Transfer},
author = {Tsu-Jui Fu and Xin Eric Wang and William Yang Wang},
journal= {arXiv preprint arXiv:2106.00178},
year = {2022}
}
备注
ECCV'22