模型真的学会了遵循指令吗？指令微调的实证研究
人工智能
2023-05-29 v2
摘要
近期关于指令微调（IT）的研究在未见任务上取得了具有零样本泛化能力的优异性能。通过在微调时向模型提供额外上下文（如任务定义、示例），其性能远超未微调模型。尽管性能提升令人瞩目，模型从 IT 中究竟学到了什么仍缺乏充分研究。本文通过比较使用篡改指令与原始指令的模型训练，分析模型在 IT 过程中如何利用指令。具体而言，我们去除所有语义成分、仅保留输出空间信息以构造简化任务定义，并构造包含错误输入输出映射的误导性示例。实验表明，使用简化任务定义或误导性示例训练的模型，可达到与使用原始指令和示例训练的模型相当的性能。此外，我们引入随机基线来执行零样本分类任务，发现在低资源设置下其性能（42.6% 精确匹配）与 IT（43% 精确匹配）相近，而两种方法均显著优于朴素 T5（30% 精确匹配）。我们的分析提供的证据表明，当前 IT 模型令人印象深刻的性能提升可能源于捕捉表面模式，例如学习输出格式与猜测。本研究凸显了开发更可靠 IT 方法与评估的迫切需求。
引用
@article{arxiv.2305.11383,
title = {Do Models Really Learn to Follow Instructions? An Empirical Study of Instruction Tuning},
author = {Po-Nien Kung and Nanyun Peng},
journal= {arXiv preprint arXiv:2305.11383},
year = {2023}
}
备注
Proceedings of the 61th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)