零时间浪费：在早期退出神经网络中复用预测
机器学习
2021-12-07 v2
摘要
降低大型深度学习模型处理时间的问题，是许多实际应用中的基本挑战。早期退出方法通过向神经网络的中间层附加额外的内部分类器（ICs）来致力于这一目标。ICs 可针对简单样本快速返回预测，从而降低整个模型的平均推理时间。然而，若某个 IC 未决定提前返回答案，其预测便被丢弃，其计算实际上被浪费。为解决此问题，我们提出零时间浪费（ZTW）这一新方法，其中每个 IC 通过（1）在 ICs 间添加直接连接以及（2）以类集成方式组合先前输出来复用其前驱返回的预测。我们在多个数据集与架构上进行了广泛实验，表明 ZTW 相较于其他近期提出的早期退出方法实现了显著更优的准确率—推理时间权衡。
引用
@article{arxiv.2106.05409,
title = {Zero Time Waste: Recycling Predictions in Early Exit Neural Networks},
author = {Maciej Wołczyk and Bartosz Wójcik and Klaudia Bałazy and Igor Podolak and Jacek Tabor and Marek Śmieja and Tomasz Trzciński},
journal= {arXiv preprint arXiv:2106.05409},
year = {2021}
}
备注
Accepted at NeurIPS 2021