基于中奖彩票的稀疏迁移学习
机器学习
2019-12-18 v2 神经与进化计算
机器学习
摘要
Frankle 与 Carbin (2019) 最近提出的中奖彩票假设认为，过度参数化深度网络的性能归因于随机初始化为网络播种了一小部分有利权重。这些权重在训练过程中始终保持其主导地位——在非常真实的意义上，该子网络在初始化时“中了彩票”。作者通过非结构化幅度剪枝找到去除 85-95% 参数的子网络，其以与原网络相似的速度训练到相同精度，他们称之为中奖彩票。在本文中，我们将中奖彩票假设扩展到多种迁移学习任务。我们表明，在若干现实设定下，去除约 90-95% 权重的稀疏子网络达到了（且常超过）原始稠密网络的精度。我们通过在 CIFAR-10 上经剪枝得到的稀疏表示迁移到 SmallNORB 与 FashionMNIST 以进行物体识别任务，实验验证了这一点。
引用
@article{arxiv.1905.07785,
title = {Sparse Transfer Learning via Winning Lottery Tickets},
author = {Rahul Mehta},
journal= {arXiv preprint arXiv:1905.07785},
year = {2019}
}
备注
15 pages, 9 figures. Workshop on Learning Transferable Skills, 33rd Conference on Neural Information Processing Systems, Vancouver, Canada