NEFTune：噪声嵌入改进指令微调
计算与语言
2023-10-11 v2 机器学习
摘要
我们展示语言模型微调可以通过一种简单的数据增强得到改进，有时是显著改进。NEFTune 在训练期间向嵌入向量添加噪声。使用 Alpaca 对 LLaMA-2-7B 进行标准微调在 AlpacaEval 上取得 29.79% 的成绩，而使用噪声嵌入后上升至 64.69%。NEFTune 在现代指令数据集上也优于强基线。使用 Evol-Instruct 训练的模型有 10% 的提升，使用 ShareGPT 有 8% 的提升，使用 OpenPlatypus 有 8% 的提升。即便是使用 RLHF 进一步精炼的强大模型如 LLaMA-2-Chat 也能从使用 NEFTune 的额外训练中受益。
引用
@article{arxiv.2310.05914,
title = {NEFTune: Noisy Embeddings Improve Instruction Finetuning},
author = {Neel Jain and Ping-yeh Chiang and Yuxin Wen and John Kirchenbauer and Hong-Min Chu and Gowthami Somepalli and Brian R. Bartoldson and Bhavya Kailkhura and Avi Schwarzschild and Aniruddha Saha and Micah Goldblum and Jonas Geiping and Tom Goldstein},
journal= {arXiv preprint arXiv:2310.05914},
year = {2023}
}
备注
25 pages, Code is available on Github: https://github.com/neelsjain/NEFTune