SymNoise：利用对称噪声推进语言模型微调
计算与语言
2023-12-11 v2 机器学习
摘要
在本文中，我们介绍了一种新颖的语言模型微调技术，该技术涉及在对称噪声嵌入过程中加入对称噪声。该方法旨在通过更严格地调节模型的局部曲率来增强模型的功能，表现出优于当前方法 NEFTune 的性能。使用 Alpaca 对 LLaMA-2-7B 模型进行微调时，标准技术在 AlpacaEval 上获得了 29.79% 的分数。然而，我们的方法 SymNoise 利用对称噪声嵌入将该分数显著提高至 69.04%。这比最先进的方法 NEFTune (64.69%) 提高了 6.7%。此外，在多种模型和更强的基线指令数据集（如 Evol-Instruct、ShareGPT、OpenPlatypus）上进行测试时，SymNoise 始终优于 NEFTune。当前文献（包括 NEFTune）强调了深入研究噪声策略在语言模型微调中应用的重要性。我们的方法 SymNoise 是朝这一方向迈出的又一重要步伐，显示出对现有最先进方法的显著改进。
引用
@article{arxiv.2312.01523,
title = {SymNoise: Advancing Language Model Fine-tuning with Symmetric Noise},
author = {Abhay Kumar Yadav and Arjun Singh},
journal= {arXiv preprint arXiv:2312.01523},
year = {2023}
}