预见、集成与剪枝:通过聚合早退机制改进卷积神经网络
机器学习
2023-01-31 v1 人工智能
计算机视觉与模式识别
摘要
如今,人工神经网络是解决多种复杂任务(尤其是图像分类)的最先进方法。此类架构由一系列堆叠层组成,旨在提取有用信息并由分类器处理以做出准确预测。然而,这类模型中的中间信息常常未被利用。在其他情况下,例如在边缘计算场景中,这些架构被划分为多个分区,并通过加入早退(即中间分类器)使之可用,目标是在不极度损害分类精度的前提下降低计算与时空负载。本文提出预见、集成与剪枝(AEP),一种基于早退加权集成的新型训练技术,旨在利用网络结构中的信息以最大化其性能。通过一套全面的实验,我们展示了该方法相较传统训练可带来平均最高 15% 的精度提升。在其混合加权配置下,AEP 的内部剪枝操作还可将参数量减少至多 41%,将乘加运算减少 18%,并将推理延迟时间降低 16%。通过使用 AEP,还可以学习到使早退取得比单输出参考模型更好精度值的权重。
引用
@article{arxiv.2301.12168,
title = {Anticipate, Ensemble and Prune: Improving Convolutional Neural Networks via Aggregated Early Exits},
author = {Simone Sarti and Eugenio Lomurno and Matteo Matteucci},
journal= {arXiv preprint arXiv:2301.12168},
year = {2023}
}