高效深度学习：关于使深度学习模型更小、更快、更好的综述
机器学习
2024-04-17 v2
摘要
深度学习已经彻底改变了计算机视觉、自然语言理解、语音识别、信息检索等诸多领域。然而，随着深度学习模型性能的逐步提升，其参数量、延迟、训练所需资源等均显著增加。因此，除模型质量外，关注模型的这些足迹指标也变得十分重要。我们提出并阐释了深度学习中效率的问题，随后对模型效率的五个核心领域（涵盖建模技术、基础设施和硬件）及其开创性工作进行了全面综述。我们还提供了一份基于实验的指南及代码，供从业者优化其模型训练与部署。我们相信这是高效深度学习领域首个涵盖从建模技术到硬件支持的模型效率全景的综合综述。我们希望本综述能为读者提供该领域的思维模型与必要理解，以应用通用效率技术立即获得显著改进，并为其提供进一步研究与实验的思路以实现额外收益。
引用
@article{arxiv.2106.08962,
title = {Efficient Deep Learning: A Survey on Making Deep Learning Models Smaller, Faster, and Better},
author = {Gaurav Menghani},
journal= {arXiv preprint arXiv:2106.08962},
year = {2024}
}