基于多自适应网络的任意风格迁移
计算机视觉与模式识别
2020-08-19 v2 人工智能
摘要
任意风格迁移是一个具有研究价值和应用前景的重要课题。给定一张内容图像和一幅参考风格画作，理想的风格迁移应使内容图像呈现风格画作的颜色基调与生动笔触图案，同时同步保持细致的内容结构信息。风格迁移方法通常先学习内容图像与风格参考的内容与风格表示，再在这些表示引导下生成风格化图像。本文提出多自适应网络，包含两种自自适应（SA）模块与一种共自适应（CA）模块：SA模块自适应地解耦内容与风格表示，即内容SA模块利用位置自注意力增强内容表示，风格SA模块利用通道自注意力增强风格表示；CA模块通过非局部方式计算解耦后内容与风格特征间的局部相似性，基于内容表示分布重排风格表示分布。此外，一种新的解耦损失函数使我们的网络分别提取主要风格图案与精确内容结构，以适应各类输入图像。大量定性与定量实验表明，所提多自适应网络取得了优于当前最优风格迁移方法的结果。
引用
@article{arxiv.2005.13219,
title = {Arbitrary Style Transfer via Multi-Adaptation Network},
author = {Yingying Deng and Fan Tang and Weiming Dong and Wen Sun and Feiyue Huang and Changsheng Xu},
journal= {arXiv preprint arXiv:2005.13219},
year = {2020}
}