MetaStyle：神经风格迁移中速度、灵活性与质量的三方权衡
计算机视觉与模式识别
2019-03-08 v3 人工智能
机器学习
摘要
自Gatys等人提出神经方法以来，艺术风格迁移研究领域出现了前所未有的繁荣。其余挑战之一是在三个关键方面——速度、灵活性和质量之间平衡权衡：（i）原始的基于优化的算法对任意风格均能生成令人印象深刻的结果，但由于其迭代性质而速度不尽如人意；（ii）基于前馈神经网络的快速近似方法能产生令人满意的艺术效果，但仅限于有限数量的风格；（iii）像AdaIN这样的特征匹配方法以实时方式实现任意风格迁移，但代价是质量受损。我们发现仅使用单个前馈步骤很难很好地平衡该权衡，进而追问是否存在一种能快速适配任意风格、且适配后的模型保持高效率与良好图像质量的算法。受此启发，我们提出一种称为MetaStyle的新方法，将神经风格迁移表述为双层优化问题，并结合仅少量后处理更新步骤的学习，以适配具有令人满意艺术效果的快速近似模型，其效果可与基于优化的任意风格方法相媲美。实验中的定性与定量分析表明，所提方法有效实现了高质量的任意艺术风格迁移，在速度、灵活性与质量间取得了良好权衡。
引用
@article{arxiv.1812.05233,
title = {MetaStyle: Three-Way Trade-Off Among Speed, Flexibility, and Quality in Neural Style Transfer},
author = {Chi Zhang and Yixin Zhu and Song-Chun Zhu},
journal= {arXiv preprint arXiv:1812.05233},
year = {2019}
}
备注
AAAI 2019 spotlight. Supplementary: http://wellyzhang.github.io/attach/aaai19zhang_supp.pdf GitHub: https://github.com/WellyZhang/MetaStyle Project: http://wellyzhang.github.io/project/metastyle.html