面向大语言模型指令微调的超参数优化
计算与语言
2024-02-01 v2 最优化与控制
摘要
大语言模型(LLM)的微调使其近期在自然语言处理应用中取得了里程碑式的成果。日益增大的 LLM 为更高效的微调方法铺平了道路。其中,低秩适应(LoRA)方法在保留预训练 LLM 绝大部分权重不变的同时,引入了权重矩阵的低秩分解,从而只需对网络中极小比例的参数进行调优。使用 LoRA 微调的模型在下游任务上的性能严重依赖于一组超参数,包括分解的秩。在本工作中,我们通过两种主要的黑盒优化(BBO)技术来研究这些超参数的选择。我们将预训练 LLM 上的微调与验证的整个流程视为一个黑盒,并利用 \nomad 算法高效地探索超参数空间,从而在调优后模型的性能与人类对齐度方面获得提升。
引用
@article{arxiv.2312.00949,
title = {Hyperparameter Optimization for Large Language Model Instruction-Tuning},
author = {Christophe Tribes and Sacha Benarroch-Lelong and Peng Lu and Ivan Kobyzev},
journal= {arXiv preprint arXiv:2312.00949},
year = {2024}
}