抽取早鸟票：迈向更高效的深度网络训练
机器学习
2025-03-04 v6 机器学习
摘要
（Frankle & Carbin, 2019）表明，对于稠密、随机初始化的网络，存在赢家票（小而关键子网络），可单独训练，在相似迭代次数下达到与后者相当的准确率。然而，这些赢家票的识别仍需代价高昂的训练-剪枝-重训练过程，限制了其实际收益。本文首次发现，赢家票可在极早训练阶段通过大学习率下的低成本训练方案（如早停和低精度训练）被识别，我们称之为早鸟（EB）票。我们对 EB 票的发现和近期报道的神经网络关键连接模式早期涌现的观察一致。此外，我们提出一种掩码距离度量，能以低计算开销识别 EB 票，而无需知晓完整训练后涌现的真实赢家票。最后，我们利用 EB 票的存在及所提掩码距离，开发高效训练方法：先通过低成本方案识别 EB 票，再仅对 EB 票继续训练至目标准确率。基于多种深度网络与数据集的实验验证了：1）EB 票的存在，以及掩码距离高效识别它们的有效性；2）所提基于 EB 票的高效训练可实现高达 4.7 倍能耗节省，同时保持相当甚至更优准确率，展示了一种前景广阔且易采用的应对高成本深度网络训练的方法。代码见 https://github.com/RICE-EIC/Early-Bird-Tickets。
引用
@article{arxiv.1909.11957,
title = {Drawing Early-Bird Tickets: Towards More Efficient Training of Deep Networks},
author = {Haoran You and Chaojian Li and Pengfei Xu and Yonggan Fu and Yue Wang and Xiaohan Chen and Richard G. Baraniuk and Zhangyang Wang and Yingyan Celine Lin},
journal= {arXiv preprint arXiv:1909.11957},
year = {2025}
}
备注
Accepted as ICLR2020 Spotlight