多风格迁移的可插拔风格表示学习

由于图像风格的高度多样性，可扩展性到各种风格在实际应用中发挥关键作用。为 accommodate大量风格，先前的多风格迁移方法依赖扩大模型规模，而任意风格迁移方法则利用重型主干网络。然而，额外的模型参数引入的计算成本阻碍了这些方法在资源受限设备上的部署。为此，本文开发了一个通过解耦风格建模和迁移来实现风格迁移的框架。具体而言，对于风格建模，我们提出了一种风格表示学习方案，将风格信息编码为紧凑表示。随后，对于风格迁移，我们开发了一种风格感知多风格迁移网络（SaMST），以可插拔风格表示适应多样化风格。如此一来，该框架能够在不增加推理期间额外开销的情况下容纳所学风格表示中的多样化图像风格，从而保持效率。实验表明，我们的风格表示能够提取准确的风格信息。此外，定性和定量结果表明，我们的方法在准确性和效率方面实现了最新性能。代码已公开于https://github.com/The-Learning-And-Vision-Atelier-LAVA/SaMST。