利用 Nvidia GPU 和混合精度训练改进机器学习分类模型的碳足迹 -- 第一部分

这是我硕士学位论文的第一部分，比较了在训练分类机器学习模型时使用默认浮点数（32位）和 Nvidia 混合精度（16位和32位）的功耗。我们搭建了一台具有特定硬件的定制 PC 来进行实验，并选择了不同的机器学习超参数（如批量大小、神经元数量和迭代次数）来构建深度神经网络（DNN）。此外，在实验过程中使用了多种软件来收集图形处理器（GPU）、中央处理器（CPU）、随机存取存储器（RAM）的功耗数据（以瓦特为单位），以及通过连接到墙壁的瓦特计手动读取的数据。以使用默认超参数值的 DNN 基准测试作为参考，而实验则使用了不同设置的组合。结果记录在 Excel 中，并采用描述性统计计算各组之间的均值，并通过图表和表格进行比较。使用混合精度结合特定超参数时取得了积极的结果。与基准测试相比，分类模型的优化使功耗降低了 7 至 11 瓦。同样地，由于计算使用了相同的功耗数据，碳足迹也随之降低。尽管如此，在配置超参数时仍需谨慎，因为这可能会对硬件性能产生负面影响。然而，本研究需要推断统计学，特别是 ANOVA 和 T 检验，来比较均值之间的关系。此外，测试表明基准测试与实验之间的关系没有统计显著性。然而，使用 GPU 集群进行更大规模的实现可以显著增加样本量，因为这是一个重要因素，可能会改变统计分析的结果。