CEGI：衡量 SLMs 与 VLMs 效率与碳排放之间的权衡
计算与语言
2024-12-04 v1 人工智能
计算机与社会
机器学习
摘要
本文分析了小型语言模型 (Small Language Models, SLMs) 和视觉语言模型 (Vision Language Models, VLMs) 的性能，并评估了模型性能与碳排放之间在 4 项基本任务：图像描述生成、视觉问答 (Visual Question Answering, VQA)、对话摘要和文本到 SQL 转换之间的权衡。选取属于 Qwen 和 LLaMA 架构家族的各种 SLMs 和 VLMs，并评估基于模型参数数量、量化水平和微调参数的变体。计算模型变体的性能和碳排放。为量化模型性能与碳排放之间的权衡，我们引入一种新指标，即 CEGI (Carbon Efficient Gain Index)。该指标代表单位百分比性能提升所产生的碳排放，每百万可训练参数。该指标提供了一种规范化措施，用于比较模型在性能提升相对于环境成本方面的效率。实验结果表明，微调 SLMs 和 VLMs 可实现与大型语言模型 (Large Language Models, LLMs) 相当的性能水平，同时产生显著更少的碳排放。我们的发现表明，来自更大模型的准确性提升微小收益不足以 justify 巨大的碳排放增加。利用更低位的量化水平，提出的指标进一步提高了能源效率，而不会损害性能。这一研究突显了在实现高性能和环境可持续性之间进行权衡的重要性。它为选择适用于环境友好型 AI 开发的模型提供了有价值的指标。
引用
@article{arxiv.2412.02602,
title = {CEGI: Measuring the trade-off between efficiency and carbon emissions for SLMs and VLMs},
author = {Abhas Kumar and Kapil Pathak and Rajesh Kavuru and Prabhakar Srinivasan},
journal= {arXiv preprint arXiv:2412.02602},
year = {2024}
}