持续学习究竟有多环保？视觉基础模型持续训练中的能耗分析
机器学习
2024-09-30 v1
摘要
随着人工智能的日益普及，其对环境的影响已不容忽视。尽管持续学习对绿色人工智能具有潜在贡献，但其环境可持续性在很大程度上仍是未知领域。在本研究中，我们旨在系统理解持续学习算法的能效。为此，我们进行了大量实证实验，比较了近期基于表征、基于提示和基于样本的持续学习算法与两个标准基线（微调与联合训练）在持续适配预训练 ViT-B/16 基础模型时的能耗。我们在三个标准数据集上进行了实验：CIFAR-100、ImageNet-R 和 DomainNet。此外，我们提出了一种新指标 Energy NetScore，用于衡量算法在能耗与精度权衡方面的效率。通过改变增量学习步骤的数量和规模进行多次评估，我们的实验表明，不同类型的持续学习算法在训练和推理阶段的能耗影响存在显著差异。我们发现，尽管推理阶段的能耗在持续学习文献中常被忽视，但它对于评估持续学习模型的环境可持续性至关重要。
引用
@article{arxiv.2409.18664,
title = {How green is continual learning, really? Analyzing the energy consumption in continual training of vision foundation models},
author = {Tomaso Trinci and Simone Magistri and Roberto Verdecchia and Andrew D. Bagdanov},
journal= {arXiv preprint arXiv:2409.18664},
year = {2024}
}
备注
This manuscript has been accepted at the Green FOundation MOdels (GreenFOMO) ECCV 2024 Workshop