瓦特换何物：重新审视深度学习的能耗-性能关系

深度学习模型通过在图像识别与自然语言处理等领域实现前所未有的准确率，已革新了诸多领域。然而，其日益增长的能耗引发了对其环境影响的担忧，使研究中的较小实体处于不利地位，并加剧全球能源消耗。本文中，我们探究模型准确率与电力消耗之间的权衡，提出一种对高耗电施加惩罚的度量指标。我们对多种深度学习模型在不同 GPU 上的电力消耗进行了综合研究，详细分析了其准确率-效率权衡。通过评估每单位耗电所对应的准确率，我们展示了更小、更节能的模型如何能显著加快研究进程，同时缓解环境担忧。我们的结果凸显了深度学习更可持续路径的潜力，强调优化模型效率的重要性。本研究亦有助于更公平的研究格局，使较小实体能有效与大型同行竞争。这倡导采用高效深度学习实践以降低电力消耗，在为后代保护环境的同时，也有助于确保更公平的竞争环境。