面向代价自适应推理的协同学习
机器学习
2023-12-29 v2
摘要
我们提出了一种用于深度神经网络架构的协同训练框架，该框架允许运行时网络深度发生改变，以满足动态计算资源需求。在我们的框架中，可以动态选择参与计算的层数，以在推理运行时满足性能与代价的权衡。我们的方法通过知识蒸馏训练两个 Teammate 网络和一个 Leader 网络，以及两组具有不同深度的 Teammate 子网络。Teammate 网络导出子网络并将知识传递给它们以及彼此，而 Leader 网络引导 Teammate 网络以确保准确性。该方法一次性原子地训练整个框架，而不是单独训练各种大小的模型；在某种意义上，各种大小的网络被一次性训练，作为一个“打包方案”。所提框架不绑定于任何特定架构，而是可以结合任何现有模型/架构，因此能够保持稳定的结果，且对数据集特征图的大小不敏感。与其他相关方法相比，它在提供与完整网络相当准确性的同时，提供各种大小的可用模型。
引用
@article{arxiv.2312.08532,
title = {Cooperative Learning for Cost-Adaptive Inference},
author = {Xingli Fang and Richard Bradford and Jung-Eun Kim},
journal= {arXiv preprint arXiv:2312.08532},
year = {2023}
}