我们能在生成模型中找到强彩票票吗
计算机视觉与模式识别
2022-12-19 v1 机器学习
摘要
能。本文研究生成模型中的强彩票票（strong lottery tickets），即无需任何权重更新即可获得良好生成性能的子网络。神经网络剪枝被视为降低计算与内存成本的模型压缩主要基石。遗憾的是，生成模型剪枝尚未被充分探索，且所有现有剪枝算法都存在权重训练成本过高、性能下降、泛化性有限或训练复杂的问题。为解决这些问题，我们提出通过矩匹配分数来寻找强彩票票。实验结果表明，即使仅保留10%的权重，所发现的子网络也能达到与训练后的稠密模型相当或更好的性能。据我们所知，我们首次展示了生成模型中强彩票票的存在，并提供了稳定寻找它的算法。我们的代码与补充材料已公开可用。
引用
@article{arxiv.2212.08311,
title = {Can We Find Strong Lottery Tickets in Generative Models?},
author = {Sangyeop Yeo and Yoojin Jang and Jy-yong Sohn and Dongyoon Han and Jaejun Yoo},
journal= {arXiv preprint arXiv:2212.08311},
year = {2022}
}