LaFFi：利用混合自然语言反馈微调语言模型
机器学习
2024-01-03 v1 人工智能
计算与语言
摘要
微调大型语言模型（LLMs）将训练好的模型适配到特定下游任务，显著提升任务特定性能。监督微调（SFT）是一种常见方法，训练LLM生成期望答案。然而，使用SFT训练的LLM有时会犯简单错误，并在推理任务（如问答）中产生幻觉。没有外部反馈，SFT很难学习问题与期望答案之间的良好映射，尤其是在小数据集上。本文介绍了一种SFT的替代方法，称为自然语言反馈微调LLMs（LaFFi）。LaFFi让LLM直接预测它们将从标注者那里收到的反馈。我们发现，要求这种反思可以显著提高领域内问答任务的准确性，为自然语言反馈在SFT LLMs领域的应用提供了一个有前景的方向。额外的消融研究表明，标注数据集中人工标注数据的比例会影响微调性能。
引用
@article{arxiv.2401.00907,
title = {LaFFi: Leveraging Hybrid Natural Language Feedback for Fine-tuning Language Models},
author = {Qianxi Li and Yingyue Cao and Jikun Kang and Tianpei Yang and Xi Chen and Jun Jin and Matthew E. Taylor},
journal= {arXiv preprint arXiv:2401.00907},
year = {2024}
}
备注
Paper accepted in Human-Centric Representation Learning workshop at AAAI 2024 (https://hcrl-workshop.github.io/2024/)