法律领域常见文本分类方法的基于能耗的比较分析
计算与语言
2024-02-06 v2 人工智能
机器学习
性能
摘要
大多数机器学习研究从性能角度评估最优解。然而，在追求性能最佳模型的竞赛中，许多重要方面常被忽视，而实际上它们应被仔细考量。事实上，不同方法间的性能差距有时可忽略不计，而诸如生产成本、能耗与碳足迹等因素必须纳入考虑。大语言模型（LLM）在学术界与工业界被广泛用于解决 NLP 问题。在本文中，我们对 LLM 与传统方法（如 SVM）在 LexGLUE 基准上进行了详细的定量比较，该比较同时考虑了性能（标准指标）与替代度量如耗时、功耗与成本，一言以蔽之：碳足迹。在我们的分析中，我们将原型设计阶段（通过训练-验证-测试迭代进行模型选择）与投产阶段分开考虑，因为它们遵循不同的实现流程且需要不同资源。结果表明，最简算法常能取得接近大型 LLM 的性能，但功耗极低且资源需求更低。所得结果可建议企业在选择机器学习（ML）解决方案时纳入额外评估。
引用
@article{arxiv.2311.01256,
title = {An energy-based comparative analysis of common approaches to text classification in the Legal domain},
author = {Sinan Gultekin and Achille Globo and Andrea Zugarini and Marco Ernandes and Leonardo Rigutini},
journal= {arXiv preprint arXiv:2311.01256},
year = {2024}
}
备注
Presented at The 4th International Conference on NLP & Text Mining (NLTM 2024), January 27-28 2024, Copenhagen, Denmark - 12 pages, 1 figure, 7 tables