基于超参数分析神经网络的内存消耗

深度学习模型在多个领域中被训练与部署。深度学习模型使用量的增加引发了对其计算过程中内存消耗的关注。现有的降低内存消耗的方法如模型压缩、硬件改动等均为特定方案。我们提出了一种通用分析，将深度学习模型训练时的内存消耗与训练所用超参数进行比较。包含学习率、批大小、隐藏层数与层深度的超参数决定了模型性能与准确率。我们假设优化器与隐藏层类型为已知值。所提方法中将超参数的变化与隐藏层数量作为变量。为更好地理解计算成本，本分析以超参数引起的内存消耗变化为主要关注点。这得出了一组当超参数集合改变时训练期间内存消耗变化的通用分析。