在风格迁移模型中寻找彩票票
计算机视觉与模式识别
2022-04-12 v2 图像与视频处理
摘要
风格迁移因其灵活的应用场景取得了巨大成功，并吸引了学术界与工业界的广泛关注。然而，对基于 VGG 的较大自编码器的依赖导致现有风格迁移模型参数复杂度高，限制了其在资源受限设备上的应用。与许多其他任务相比，风格迁移模型的压缩较少被探索。近来，彩票票假设（LTH）在寻找极度稀疏的匹配子网络方面展现出巨大潜力，此类子网络在单独训练时可达到与原始完整网络相当甚至更优的性能。本工作中，我们首次通过实证研究发现验证风格迁移模型中是否也存在此类可训练匹配子网络。具体而言，我们以两种最流行的风格迁移模型，即代表基于全局变换的 AdaIN 与代表基于局部变换的 SANet，作为主要试验对象。我们进行了大量实验与全面分析，得出如下结论：（1）与固定 VGG 编码器相比，风格迁移模型更能从整体联合训练中获益。（2）使用迭代幅值剪枝，我们在 AdaIN 中找到了稀疏度 89.2% 的匹配子网络，在 SANet 中找到了稀疏度 73.7% 的匹配子网络，这表明风格迁移模型也能玩彩票票。（3）特征变换模块也应被剪枝，以在不会影响匹配子网络存在性与质量的前提下获得更稀疏的模型。（4）除 AdaIN 与 SANet 外，LST、MANet、AdaAttN 与 MCCNet 等其他模型也能玩彩票票，这表明 LTH 可推广至各类风格迁移模型。
引用
@article{arxiv.2203.13802,
title = {Playing Lottery Tickets in Style Transfer Models},
author = {Meihao Kong and Jing Huo and Wenbin Li and Jing Wu and Yu-Kun Lai and Yang Gao},
journal= {arXiv preprint arXiv:2203.13802},
year = {2022}
}