碳税 Transformer：面向过度膨胀语言模型的绿色压缩流水线
软件工程
2026-04-29 v1 机器学习
摘要
大型语言模型(LLM)在软件工程(SE)中日益广泛的应用带来了一个隐性危机：不可持续的计算成本。尽管这些模型在各种 SE 任务中展现出卓越能力，但它们体积过大、部署缓慢、内存密集且碳排放高。这一现实不仅威胁着 AI 驱动的 SE 的可扩展性与可及性，也威胁其长期的环境可持续性。研究挑战十分明确：我们必须超越准确率，将效率与环境成本作为一等设计约束。为应对这一挑战，我们提出了碳税 Transformer(Carbon-Taxed Transformers, CTT)，这是一种受经济碳税原则启发的系统性多架构压缩原则化流水线排序。借鉴经济学的碳定价概念，CTT 将计算碳税操作化，惩罚架构低效并奖励易于部署的压缩。我们在三项核心 SE 任务上评估了 CTT：代码克隆检测、代码摘要和代码生成，模型涵盖仅编码器、编码器-解码器和仅解码器架构。结果表明 CTT 在推理方面实现了：(1) 高达 49 倍的内存减少；(2) 克隆检测时间减少 8-10 倍，摘要减少 3 倍，生成减少 4-7 倍；(3) CO2 排放减少高达 81%；(4) CTT 在克隆检测上保留约 98% 的准确率，摘要约 89%，生成上高达 91%（文本指标）和 68%（pass@1）。两项消融研究表明，流水线排序与各组件贡献均不可或缺，为 CTT 的设计与有效性提供了实证依据。这项工作通过激进但保持性能的压缩，确立了在 SE 中实现负责任 AI 的可行路径。
引用
@article{arxiv.2604.25903,
title = {Carbon-Taxed Transformers: A Green Compression Pipeline for Overgrown Language Models},
author = {Ajmain Inqiad Alam and Palash Roy and Chanchal K. Roy and Banani Roy and Kevin A. Schneider},
journal= {arXiv preprint arXiv:2604.25903},
year = {2026}
}