中文

块洗牌:一种有限内存下高分辨率快速风格迁移的方法

计算机视觉与模式识别 2020-09-22 v1 图像与视频处理

摘要

快速风格迁移是一系列使用前馈神经网络渲染输入图像的神经风格迁移算法。由于输出层维度高,这些网络计算需要大量内存。因此,对于高分辨率图像,大多数移动设备和个人计算机无法对其进行风格化,这极大限制了快速风格迁移的应用场景。目前两种现有解决方案是购买更多内存和使用基于羽化的方法,但前者需要额外成本,后者图像质量差。为解决此问题,我们提出一种称为 \emph{block shuffle}(块洗牌)的新型图像合成方法,其将高内存消耗的单一任务转换为多个低内存消耗的子任务。该方法可作为快速风格迁移的插件,无需对网络架构做任何修改。我们使用 GitHub 上最流行的快速风格迁移仓库作为基线。实验表明,我们的方法生成的高分辨率图像质量优于基于羽化的方法。尽管我们的方法比基线慢一个数量级,但它能在有限内存下对高分辨率图像进行风格化,而这是基线无法做到的。代码和模型将在 \url{https://github.com/czczup/block-shuffle} 上提供。

关键词

引用

@article{arxiv.2008.03706,
  title  = {Block Shuffle: A Method for High-resolution Fast Style Transfer with Limited Memory},
  author = {Weifeng Ma and Zhe Chen and Caoting Ji},
  journal= {arXiv preprint arXiv:2008.03706},
  year   = {2020}
}

备注

12 pages, 12 figures