AEBNAS: 通过硬件感知神经架构搜索加强早期退出网络中的退出分支
人工智能
2025-12-12 v1 机器学习
摘要
早期退出网络是一种有效的深度学习模型节能降延迟方案，能够根据输入数据的复杂度动态调整计算量。通过在架构中引入中间退出分支，它们为简单样本提供更少的计算量，这对能源消耗至关重要的资源受限设备尤为有益。然而，设计早期退出网络是一项具有挑战性且耗时的过程，需要在效率与性能之间取得平衡。近期研究利用神经架构搜索（NAS）来设计更高效的早期退出网络，旨在通过确定架构中退出分支的最佳位置和数量来降低平均延迟并提升模型准确率。另一个影响早期退出网络效率和准确率的重要因素是退出分支的深度和层类型。在本文中，我们采用硬件感知的 NAS 来加强退出分支，在优化过程中同时考虑准确率和效率。我们在 CIFAR-10、CIFAR-100 和 SVHN 数据集上的性能评估表明，所提出的框架考虑了退出分支的不同深度和层类型，并结合自适应阈值调节，能够在具有相同甚至更低平均 MAC 数的条件下设计出比现有先进方法准确率更高的早期退出网络。
引用
@article{arxiv.2512.10671,
title = {AEBNAS: Strengthening Exit Branches in Early-Exit Networks through Hardware-Aware Neural Architecture Search},
author = {Oscar Robben and Saeed Khalilian and Nirvana Meratnia},
journal= {arXiv preprint arXiv:2512.10671},
year = {2025}
}