自然语言处理中的提前退出深度神经网络综述
机器学习
2025-01-15 v1 计算与语言
摘要
深度神经网络 的规模日益增大，以在广泛的任务中实现 SOTA 性能。然而，其高计算要求使其不太适合资源受限的应用。此外，现实世界的数据集通常由简单和复杂样本混合而成，需要考虑样本难度的自适应推理机制。提前退出策略通过实现自适应推理提供了一种有前景的解决方案，其中较简单的样本使用 DNN 的初始层进行分类，从而加速整体推理过程。通过在不同层附加分类器，提前退出方法不仅降低了推理延迟，还提高了模型对抗对抗攻击的鲁棒性。本文对提前退出方法及其在 NLP 中的应用进行了全面综述。
引用
@article{arxiv.2501.07670,
title = {A Survey of Early Exit Deep Neural Networks in NLP},
author = {Divya Jyoti Bajpai and Manjesh Kumar Hanawal},
journal= {arXiv preprint arXiv:2501.07670},
year = {2025}
}