NetCut：基于层移除的实时 DNN 推理
机器学习
2021-08-12 v1 性能
摘要
深度学习在诸多方面辅助人类生活中发挥着重要作用。随着这些网络随时间变得更深，它们以额外的推理延迟为代价提取更多特征以提高准确性。这种准确性-性能权衡使得嵌入式系统（具有严格截止时间的资源受限处理器）更难高效部署它们。这可能导致选择能够提前满足指定截止时间且存在多余空闲时间的网络，而这些空闲时间本可潜在地有助于提高准确性。在这项工作中，我们提出：（i）层移除的概念，作为构建裁剪网络（TRN）的一种手段，该网络基于移除迁移学习中使用的预训练网络的问题特定特征；（ii）NetCut，一种基于经验或分析延迟估计器的方法，其仅提出并重新训练能够满足应用截止时间的 TRN，从而显著减少探索时间。我们证明 TRN 可以扩展权衡延迟与准确性的帕累托前沿，以提供能够满足任意截止时间且相比现成网络具有潜在准确性提升的网络。我们的实验结果表明，在迁移到更简单数据集时，此类 TRN 的利用结合 NetCut，可提出在现有现成神经架构中相对准确性提升高达 10.43% 且满足特定截止时间的网络，并将探索时间加速 27 倍。
引用
@article{arxiv.2101.05363,
title = {NetCut: Real-Time DNN Inference Using Layer Removal},
author = {Mehrshad Zandigohar and Deniz Erdogmus and Gunar Schirner},
journal= {arXiv preprint arXiv:2101.05363},
year = {2021}
}