Spectrum：基于信噪比的有针对性训练
机器学习
2024-06-12 v1 机器学习
摘要
后训练大语言模型仍是一个计算资源巨大的挑战。我们提出Spectrum方法，通过针对其信噪比（SNR）的层模块进行有针对性的训练来加速LLM训练，同时冻结剩余模块。我们的方法利用一种计算模块SNR的算法在训练前显示，已证明其能在降低GPU内存使用方面有效匹配全参数微调的性能。与QLoRA等现有方法相比的实验结果表明，Spectrum在模型质量和VRAM效率方面具有优势，尤其是在分布式环境中。
引用
@article{arxiv.2406.06623,
title = {Spectrum: Targeted Training on Signal to Noise Ratio},
author = {Eric Hartford and Lucas Atkins and Fernando Fernandes Neto and David Golchinfar},
journal= {arXiv preprint arXiv:2406.06623},
year = {2024}
}