QuickNets：在早期退出神经架构中节省训练并防止过度自信
机器学习
2022-12-27 v1 人工智能
神经与进化计算
摘要
深度神经网络具有较长的训练和处理时间。在神经网络中添加早期退出机制，可使网络在时间敏感的应用中利用网络的中间激活进行早期预测。然而，早期退出增加了神经网络的训练时间。我们提出 QuickNets：一种用于更快训练神经网络的新型级联训练算法。QuickNets 以逐层方式训练，使得每一后续层仅在前续层未能正确分类的样本上进行训练。我们证明，与标准反向传播相比，QuickNets 能够动态分配学习，并降低训练成本和推理成本。此外，我们引入承诺层，通过识别过度自信的预测显著改善早期退出，并展示了其有效性。
引用
@article{arxiv.2212.12866,
title = {QuickNets: Saving Training and Preventing Overconfidence in Early-Exit Neural Architectures},
author = {Devdhar Patel and Hava Siegelmann},
journal= {arXiv preprint arXiv:2212.12866},
year = {2022}
}
备注
9 pages, 4 figures