PTEENet：用于推理成本优化的训练后早期退出神经网络增强
机器学习
2025-01-07 v1 人工智能
计算机视觉与模式识别
摘要
对于许多实际应用而言，深度网络架构推理的高计算成本可能是不可接受的。整体推理精度的轻微下降，可能是换取所需计算资源显著减少的合理代价。在这项工作中，我们描述了一种在深度神经网络前馈推理过程中引入“捷径”的方法，尽可能跳过昂贵的计算。所提出的方法基于先前描述的BranchyNet（Teerapittayanon等人，2016）和EEnet（Demir，2019）架构，这些架构联合训练主网络和早期退出分支。我们通过将分支附加到预训练模型上扩展了这些方法，从而无需修改网络的原始权重。我们还提出了一种基于卷积构建块的新分支架构，以便在应用于大型DNN时提供足够的训练能力。所提出的架构包括置信度头，用于预测相应早期退出的置信水平。通过在这些置信度扩展上定义调整后的阈值，我们可以实时控制从每个分支退出的数据量，以及模型速度与准确性之间的整体权衡。在我们的实验中，我们使用图像数据集（SVHN和CIFAR10）和几种不同深度的DNN架构（ResNet、DenseNet、VGG）评估了我们的方法。结果表明，所提出的方法能够降低平均推理计算成本，并进一步控制模型精度与计算成本之间的权衡。
引用
@article{arxiv.2501.02508,
title = {PTEENet: Post-Trained Early-Exit Neural Networks Augmentation for Inference Cost Optimization},
author = {Assaf Lahiany and Yehudit Aperstein},
journal= {arXiv preprint arXiv:2501.02508},
year = {2025}
}