如何训练你的多出口模型？分析训练策略的影响
机器学习
2025-06-24 v2
摘要
早期出口通过在骨干网络上附加可训练的内部分类器，使网络的前向传播能够提前终止。现有的早期出口方法通常采用联合训练策略（骨干网络和出口头同时训练）或分离训练策略（出口头单独训练）。然而，这种选择的影响常常被忽视，研究通常在没有充分理由的情况下采用其中一种策略。这种选择会影响训练动力学，其影响在很大程度上仍未得到探索。在本文中，我们引入了一组指标来分析早期出口训练动力学并指导训练策略的选择。我们证明，传统使用的联合和分离训练机制会产生次优性能。为了解决这些局限性，我们提出了一种混合训练策略：首先训练骨干网络，然后训练整个多出口网络。通过对各种架构、数据集和早期出口方法的训练策略进行全面评估，我们展示了早期出口训练策略的优势和劣势。特别是，我们展示了使用所提出的混合策略在性能和效率方面的一致改进。
引用
@article{arxiv.2407.14320,
title = {How to Train Your Multi-Exit Model? Analyzing the Impact of Training Strategies},
author = {Piotr Kubaty and Bartosz Wójcik and Bartłomiej Krzepkowski and Monika Michaluk and Tomasz Trzciński and Jary Pomponi and Kamil Adamczewski},
journal= {arXiv preprint arXiv:2407.14320},
year = {2025}
}