加速孟加拉语 NLP 任务的自动混合精度训练：资源高效训练保持模型效能
计算与语言
2025-12-02 v1 人工智能
摘要
为自然语言处理 (NLP) 训练模型需要大量计算资源和时间，尤其在孟加拉语 NLP 开发中，由于难以获得高端硬件，这构成了重大挑战。本文探索了自动混合精度 (AMP) 训练作为提升计算效率而不牺牲模型性能的手段。通过动态组合 16 位和 32 位浮点计算，AMP 降低 GPU 内存需求并加速训练，而不损害模型性能。我们在四个标准孟加拉语 NLP 任务上评估了 AMP，即情感分析、命名实体识别、错误分类和问答，使用四个基于变换器的模型：BanglaBERT、BanglishBERT、XLM-R 和 mBERT。我们的结果表明，AMP 将训练加速 44.5%，内存消耗降低 17.6%，同时保持 F1 分数在 99.7% 之内。本实证研究突显了 AMP 在降低计算门槛方面的潜力，从而为硬件受限环境下的先进 NLP 能力实现民主化提供了可能。
引用
@article{arxiv.2512.00829,
title = {Accelerating Bangla NLP Tasks with Automatic Mixed Precision: Resource-Efficient Training Preserving Model Efficacy},
author = {Md Mehrab Hossain Opi and Sumaiya Khan and Moshammad Farzana Rahman},
journal= {arXiv preprint arXiv:2512.00829},
year = {2025}
}