面向动态神经网络的联合学习退出与推理：JEI-DNN
机器学习
2024-05-13 v2
摘要
大型预训练模型结合微调，正逐渐确立为机器学习中的主导架构。尽管这些模型提供了令人印象深刻的性能，其实用性常受每次推理所需的大量资源限制。早退动态神经网络（EDNN）通过允许模型从中间层（即早退）做出部分预测来规避此问题。训练 EDNN 架构具有挑战性，因为它由两个交织的组件构成：控制早退决策的门控机制（GM）和从中间表示执行推理的中间推理模块（IMs）。因此，大多数现有方法依赖对置信度度量的阈值化作为门控机制，并努力改进底层骨干网络和推理模块。尽管成功，该方法有两个根本缺陷：1）GM 和 IMs 在训练时解耦，导致训练-测试不匹配；2）阈值化门控机制给预测概率引入了正偏差，使得难以直接提取不确定性信息。我们提出了一种连接这两个模块的新架构。这在分类数据集上带来了显著的性能提升，并实现了更好的不确定性刻画能力。
引用
@article{arxiv.2310.09163,
title = {Jointly-Learned Exit and Inference for a Dynamic Neural Network : JEI-DNN},
author = {Florence Regol and Joud Chataoui and Mark Coates},
journal= {arXiv preprint arXiv:2310.09163},
year = {2024}
}