任意到任意风格迁移：让毕加索与达芬奇协作
计算机视觉与模式识别
2023-04-21 v2 图像与视频处理
摘要
风格迁移旨在将给定风格参考图像的风格渲染到另一个给定内容参考图像上，已广泛应用于艺术生成与图像编辑。现有方法要么以全局方式施加风格图像的整体风格，要么以预定义方式将风格图像的局部颜色与纹理迁移到内容对应区域。无论哪种情况，对于特定内容-风格图像对只能生成一种结果，因而缺乏灵活性且难以满足不同用户的偏好。我们在此提出一种称为任意到任意风格迁移(Any-to-Any Style Transfer)的新策略以解决该缺陷，其使用户能够交互式地选择风格图像中区域的风格并应用于指定的内容区域。通过这种方式，可通过人机交互实现个性化风格迁移。我们方法的核心在于(1)基于Segment Anything的区域分割模块，其仅需少量点击或图像上绘制即可支持区域选择，从而方便灵活地接收用户输入；(2)注意力融合模块，其将用户输入转换为风格迁移模型的控制信号。实验证明了个性化风格迁移的有效性。值得注意的是，我们的方法以即插即用的方式运行，可移植到任意风格迁移方法并增强可控性。我们的代码可在\href{https://github.com/Huage001/Transfer-Any-Style}{此处}获取。
引用
@article{arxiv.2304.09728,
title = {Any-to-Any Style Transfer: Making Picasso and Da Vinci Collaborate},
author = {Songhua Liu and Jingwen Ye and Xinchao Wang},
journal= {arXiv preprint arXiv:2304.09728},
year = {2023}
}
备注
Work in progress