在最小化能耗与硬件资源消耗下的低资源领域自适应
计算与语言
2025-06-12 v2 分布式、并行与集群计算
机器学习
摘要
训练大型语言模型（LLM）在能源、硬件和标注数据方面成本高昂，往往导致植根于主流文化和价值观的立场性（Santy et al., 2023）。领域自适应已成为一种有前景的策略，旨在使模型更好地适应多元文化和价值语境（Hershcovich et al., 2022），但其计算成本仍然是一个重大障碍，特别是对于缺乏大规模基础设施访问权限的研究团队。在本文中，我们评估了不同数值精度格式和数据并行化策略的使用如何影响训练速度（作为能耗和硬件消耗的代理）和模型准确性，旨在促进低资源环境下的领域自适应。我们的发现适用于任何将能效、可访问性或有限硬件可用性视为关键关切的环境。
引用
@article{arxiv.2506.08433,
title = {Low-resource domain adaptation while minimizing energy and hardware resource consumption},
author = {Hernán Maina and Nicolás Wolovick and Luciana Benotti},
journal= {arXiv preprint arXiv:2506.08433},
year = {2025}
}
备注
A shorter version of this work was accepted as a two-page abstract for presentation at the Widening Natural Language Processing (WiNLP) 2023 Workshop. That version was not publicly released, and this is the first public version of the work