预测误差概率以结合量化和早期退出：QuEE
机器学习
2024-06-21 v1
摘要
机器学习模型能够解决复杂任务，但在推断期间往往需要大量计算资源。这导致发展出各种 post-training 计算减少方法来以不同方式解决此问题，例如量化减少权重和算术运算的精度，或动态网络根据样本自适应计算。在本工作中，我们提出一种更通用的动态网络，可同时结合量化和早期退出动态网络：QuEE。我们的算法可视为一种软早期退出或输入依赖压缩。相对于在退出或继续之间进行二进制决策，我们引入继续以减少计算的可能性。这使得传统所考虑的早期退出问题变得更加复杂，我们通过一种原则性表述来解决。我们方法的关键因素是准确预测通过进一步计算可实现的潜在准确性改进。我们通过实证评估展示了该方法的有效性，并探讨了其成功条件于 4 个分类数据集。
引用
@article{arxiv.2406.14404,
title = {Predicting Probabilities of Error to Combine Quantization and Early Exiting: QuEE},
author = {Florence Regol and Joud Chataoui and Bertrand Charpentier and Mark Coates and Pablo Piantanida and Stephan Gunnemann},
journal= {arXiv preprint arXiv:2406.14404},
year = {2024}
}