在彩票假设中考虑层重要性
计算机视觉与模式识别
2023-02-23 v1 机器学习
摘要
彩票假设(LTH)表明，通过迭代训练模型、移除具有最低全局权重幅值的连接并回退剩余连接，可以提取出稀疏网络。这种全局比较丢失了层内连接之间的上下文信息。本文研究恢复部分这种层分布上下文的方法，并将LTH推广为考虑权重重要性值而非全局权重幅值。我们发现，给定可重复的训练过程，应用不同重要性度量会导致具有极少重叠连接的、不同的高性能彩票票。这强烈表明彩票票并非唯一的。
引用
@article{arxiv.2302.11244,
title = {Considering Layerwise Importance in the Lottery Ticket Hypothesis},
author = {Benjamin Vandersmissen and Jose Oramas},
journal= {arXiv preprint arXiv:2302.11244},
year = {2023}
}