神经机器翻译系统的生态足迹

在过去十年中，深度学习（DL）推动了包括机器翻译（MT）在内的人工智能多个领域的显著进步。若无不断增长的数据量以及使大型DL模型得以高效训练的硬件，这些进步无从实现。由于大量的计算核心与专用内存，图形处理单元（GPUs）在DL模型的训练与推理上比中央处理单元（CPUs）更为高效。然而，前者功耗极高。电力消耗具有经济与生态两方面的影响。本章关注神经机器翻译系统的生态足迹。从神经机器翻译模型训练与推理过程中的功耗出发，进而探讨以二氧化碳排放衡量的环境影响。我们比较了不同架构（RNN与Transformer）与不同GPUs（消费级NVidia 1080Ti与工作站级NVidia P100）。随后，针对爱尔兰与荷兰计算了总体CO2排放量。将NMT模型及其生态影响与常见家用电器进行比较，以呈现更清晰的图景。本章最后分析了量化（一种降低模型规模与复杂度的技术）作为降低功耗的途径。由于量化模型可在CPU上运行，其提供了一种不依赖GPU的节能推理方案。