通过课程学习提高多出口架构中早退的准确性
机器学习
2021-04-23 v2 计算机视觉与模式识别
摘要
在物联网等时间敏感且资源受限的场景中使用边缘计算系统部署深度学习服务是一项具有挑战性的任务，需要动态调整推理时间。多出口架构允许深度神经网络提前终止执行，以牺牲准确性为代价来遵守紧迫的截止时间。为缓解这一代价，本文提出一种称为多出口课程学习的新方法，该方法利用课程学习——一种模仿人类学习、按难度对训练样本排序并逐步引入网络的神经网络训练策略。在CIFAR-10和CIFAR-100数据集以及多种多出口架构配置上的实验表明，与标准训练方法相比，我们的方法持续提高了早退的准确性。
引用
@article{arxiv.2104.10461,
title = {Improving the Accuracy of Early Exits in Multi-Exit Architectures via Curriculum Learning},
author = {Arian Bakhtiarnia and Qi Zhang and Alexandros Iosifidis},
journal= {arXiv preprint arXiv:2104.10461},
year = {2021}
}
备注
Accepted by the 2021 International Joint Conference on Neural Networks (IJCNN 2021)