MicroAST：迈向超快速超高分辨率任意风格迁移
计算机视觉与模式识别
2022-11-29 v1 人工智能
摘要
任意风格迁移（AST）将任意艺术风格迁移到内容图像上。尽管近期进展迅速，但现有的 AST 方法要么无法在有限资源下以超高分辨率（例如 4K）运行，要么速度太慢，这严重阻碍了它们的进一步应用。在本文中，我们通过学习一个简单且轻量级的模型（称为 MicroAST）来解决这一困境。其关键见解是完全放弃在推理时使用繁琐的预训练深度卷积神经网络（例如 VGG）。相反，我们设计了两个微型编码器（内容编码器和风格编码器）和一个微型解码器用于风格迁移。内容编码器旨在提取内容图像的主要结构。风格编码器与一个调制器耦合，将风格图像编码为可学习的双调制信号，这些信号同时调制解码器的中间特征和卷积滤波器，从而注入更复杂、更灵活的风格信号来引导风格化过程。此外，为了增强风格编码器提取更独特、更具代表性风格信号的能力，我们还在模型中引入了一种新的风格信号对比损失。与现有最优技术相比，我们的 MicroAST 不仅产生了视觉上更优的结果，而且体积缩小了 5-73 倍，速度提升了 6-18 倍，首次实现了在 4K 超高分辨率下超快速（约 0.5 秒）的 AST。代码可在 https://github.com/EndyWon/MicroAST 获取。
引用
@article{arxiv.2211.15313,
title = {MicroAST: Towards Super-Fast Ultra-Resolution Arbitrary Style Transfer},
author = {Zhizhong Wang and Lei Zhao and Zhiwen Zuo and Ailin Li and Haibo Chen and Wei Xing and Dongming Lu},
journal= {arXiv preprint arXiv:2211.15313},
year = {2022}
}
备注
Accepted by AAAI 2023