StyleRWKV：基于 RWKV 类架构的高质量高效风格迁移
计算机视觉与模式识别
2024-12-30 v1
摘要
风格迁移旨在生成新图像，既保留内容又呈现风格来源的艺术表现。大多数现有方法基于 Transformer 或扩散模型，但 suffer from 二次计算复杂度和高推理时间。RWKV 作为一种新兴的深度序列模型，在 NLP 任务中展现出强大的长序列建模潜力。本文提出了 novel 框架 StyleRWKV，以有限内存和线性时间复杂度实现高质量风格迁移。具体而言，我们提出了 Recurrent WKV (Re-WKV) 注意力机制，将双向注意力纳入其中，以建立全局感受野。此外，我们开发了 Deformable Shifting (Deform-Shifting) 层，通过引入可学习的偏移量到卷积核的采样网格中，使 token 能够灵活、适应地从感兴趣区域偏移，从而增强模型捕获局部依赖性的能力。最后，我们提出了 Skip Scanning (S-Scanning) 方法，有效建立全局上下文依赖。通过包括定性和定量评估的广泛实验分析，证明我们的 approach 在风格化质量、模型复杂度和推理效率方面均优于最先进的方法。
引用
@article{arxiv.2412.19535,
title = {StyleRWKV: High-Quality and High-Efficiency Style Transfer with RWKV-like Architecture},
author = {Miaomiao Dai and Qianyu Zhou and Lizhuang Ma},
journal= {arXiv preprint arXiv:2412.19535},
year = {2024}
}