利用随机深度训练实现自适应推理
机器学习
2025-05-26 v1 硬件体系结构
摘要
动态DNN优化技术（如层跳过）可提高适应性和效率增益，但可能导致：i）更大的内存占用（如决策门），ii）增加的训练复杂度（如不可微操作），iii）由于其固有的输入依赖执行而对性能-质量权衡的控制较少。为解决这些问题，我们提出了一种更简单但有效的自适应推理替代方案，具有零开销、单模型和时间可预测的推理。我们方法的核心观察是：使用随机深度训练的模型——一种用于加速残差网络训练的方法——在推理时对任意层跳过更具弹性。我们提出了一种方法，首先从随机训练的模型中选择近帕累托最优的跳过配置，以在运行时自适应推理。与原始ResNets相比，我们的方法在准确率下降低至0.71%的情况下，功耗效率提高了最多2倍。
引用
@article{arxiv.2505.17626,
title = {Leveraging Stochastic Depth Training for Adaptive Inference},
author = {Guilherme Korol and Antonio Carlos Schneider Beck and Jeronimo Castrillon},
journal= {arXiv preprint arXiv:2505.17626},
year = {2025}
}