估算模型自适应生命周期中的环境成本
计算机与社会
2024-08-06 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
在当前时代，神经网络的研究、开发和应用迅速增加，这伴随着所需能源的比例增长，同时也伴随着碳排放增加。可持续且社会有益的减少与现代AI/深度学习相关的碳足迹和日益增长能源需求的做法是，针对模型部署环境的变化或输入数据变化/变化，采用自适应和持续的模型重复利用。在本文中，我们提出了PreIndex，用于估计模型在数据分布变化时的环境和计算资源。PreIndex可用于估计从当前数据分布重新训练到新数据分布的环境成本，如碳排放和能源使用。它还与可估计的其他资源指标相关联，如epoch数、梯度范数和模型参数变化幅度。PreIndex仅需一次数据前向传播，即可提供一个简洁的单一值，用于估计重新训练以新分布变化数据所需的资源。我们展示了PreIndex可在各种数据集、模型架构以及不同类型和强度的分布变化中可靠使用。因此，PreIndex使用户能够就针对不同分布变化进行重新训练做出明智决策，确定最具成本效益和可持续性的选项，允许以更小的环境足迹重复使用模型。本工作的代码可在此处获取：https://github.com/JEKimLab/AIES2024PreIndex
引用
@article{arxiv.2408.01446,
title = {Estimating Environmental Cost Throughout Model's Adaptive Life Cycle},
author = {Vishwesh Sangarya and Richard Bradford and Jung-Eun Kim},
journal= {arXiv preprint arXiv:2408.01446},
year = {2024}
}
备注
Accepted in the AAAI/ACM Conference on Artificial Intelligence, Ethics, and Society, 2024