高效多奖彩票票：提升精度、训练与推理速度
机器学习
2022-09-27 v1 人工智能
摘要
近来，Diffenderfer 与 Kailkhura 提出了一种新范式，通过剪枝与量化随机权重的全精度神经网络，来学习紧凑且高精度的二值神经网络。然而，这些多奖彩票（MPTs）的精度对最优剪枝率高度敏感，限制了其适用性。此外，原始实现未获得任何训练或推理速度收益。在本报告中，我们讨论若干改进以克服这些局限。我们通过在 CIFAR-10 上实验展示了所提技术的益处。
引用
@article{arxiv.2209.12839,
title = {Efficient Multi-Prize Lottery Tickets: Enhanced Accuracy, Training, and Inference Speed},
author = {Hao Cheng and Pu Zhao and Yize Li and Xue Lin and James Diffenderfer and Ryan Goldhahn and Bhavya Kailkhura},
journal= {arXiv preprint arXiv:2209.12839},
year = {2022}
}