面向任意风格迁移的动态实例归一化
计算机视觉与模式识别
2019-11-19 v1
摘要
先前的归一化方法依赖仿射变换实现任意图像风格迁移，其参数以预定义方式计算。这种人工定义本质最终导致风格与内容编码共用高成本编码器，使风格迁移系统难以部署于移动端等资源受限环境。本文提出一种新颖且通用的归一化模块，称为动态实例归一化（DIN），可实现灵活且更高效的任意风格迁移。DIN由实例归一化与动态卷积组成，将风格图像编码为可学习的卷积参数，并据此对内容图像进行风格化。不同于使用共享复杂编码器编码内容与风格的常规方法，所提DIN引入精细风格编码器，同时配备紧凑轻量内容编码器以实现快速推理。实验结果表明，该方法在挑战性风格图案上取得令人鼓舞的结果，且据我们所知首次实现基于MobileNet的轻量架构任意风格迁移，相较现有方法计算成本降低二十倍以上。此外，所提DIN灵活支持最先进卷积操作，从而触发新功能，如非自然图像的统一笔触排布与自动空间笔触控制。
引用
@article{arxiv.1911.06953,
title = {Dynamic Instance Normalization for Arbitrary Style Transfer},
author = {Yongcheng Jing and Xiao Liu and Yukang Ding and Xinchao Wang and Errui Ding and Mingli Song and Shilei Wen},
journal= {arXiv preprint arXiv:1911.06953},
year = {2019}
}
备注
Accepted to AAAI 2020 (Oral)