定制与成衣式彩票票：利用掩码相似性寻找可训练子网络
机器学习
2020-07-09 v1 机器学习
摘要
在过参数化网络中存在稀疏可训练子网络——亦称彩票票（LTs）——的观察引发了关于其可训练性、缩放性、唯一性与泛化特性的探讨。在 28 种图像分类任务与架构的组合中，我们发现通过不同迭代剪枝技术得到的 LTs 在连接结构上存在差异，从而证伪了其唯一性，并将涌现的掩码结构关联到剪枝方式的选择。此外，我们提出一种基于共识的方法以生成精炼的彩票票。该彩票票去噪过程基于如下原则：在不同任务中始终未被剪除的参数更能可靠地识别重要子网络，它能够以 embarrassingly parallel 的方式选取架构中有意义的部分，同时快速丢弃多余参数而无需进一步剪枝迭代。我们成功将这些子网络训练至与普通彩票票相当的性能。
引用
@article{arxiv.2007.04091,
title = {Bespoke vs. Pr\^et-\`a-Porter Lottery Tickets: Exploiting Mask Similarity for Trainable Sub-Network Finding},
author = {Michela Paganini and Jessica Zosa Forde},
journal= {arXiv preprint arXiv:2007.04091},
year = {2020}
}
备注
arXiv admin note: text overlap with arXiv:2001.05050