学习动态风格核以实现艺术风格迁移
计算机视觉与模式识别
2023-04-18 v2
摘要
任意风格迁移已被证明在艺术图像生成中高效。以往方法要么全局调制内容特征而忽略局部细节，要么过度关注局部结构细节导致风格泄漏。与已有文献不同，我们提出一种新方案“风格核”（style kernel），学习用于逐像素风格化的空间自适应核，其中卷积核由全局风格-内容对齐特征动态生成，随后将所学核应用于在每个空间位置调制内容特征。这一新方案允许内容与风格特征之间灵活的全局与局部交互，使得所需风格可轻松迁移至内容图像，同时内容结构可轻易保留。为进一步提升我们风格迁移方法的灵活性，我们提出一个风格对齐编码（SAE）模块，并辅以基于内容的门控调制（CGM）模块，用于在聚焦区域学习动态风格核。大量实验有力表明，我们提出的方法优于最先进方法，并在视觉质量与效率方面展现出优越性能。
引用
@article{arxiv.2304.00414,
title = {Learning Dynamic Style Kernels for Artistic Style Transfer},
author = {Wenju Xu and Chengjiang Long and Yongwei Nie},
journal= {arXiv preprint arXiv:2304.00414},
year = {2023}
}