EPAM：一种面向移动AI的能耗预测模型

人工智能（AI）已催生了智能应用的新范式，彻底改变了我们的生活方式。许多此类AI赋能的应用对延迟有极为严苛的要求，尤其是移动设备（如智能手机、可穿戴设备和车辆）上的应用。因此，人们开发了更小且量化的深度神经网络（DNN）模型用于移动设备，为移动AI应用提供更快速、更节能的计算。然而，AI模型在移动设备中的能耗方式仍未被充分探究。预测这些模型及其不同应用（如视觉与非视觉）的能耗，需要利用多种处理源对其行为进行深入考察。本文对考虑不同DNN模型与处理源的移动AI应用进行了综合研究，聚焦于计算资源利用、延迟与能耗。我们通过大量实验，使用四种处理源测量了所有模型的延迟、能耗与内存占用，并阐述了此类研究中的挑战及我们的应对方案。我们的研究揭示了重要见解，例如移动AI在使用CPU、GPU和NNAPI的不同应用（视觉与非视觉）中的行为特征。最后，我们提出了一种基于高斯过程回归的通用能耗预测模型，该模型依据DNN结构、计算资源与处理器构建，能够不依赖设备配置与应用预测每个完整应用周期的能耗。本研究为AI研究界提供了关键事实与能耗预测机制，助力移动AI应用的能效提升。