You Only Fine-tune Once：面向大语言模型的多样本上下文微调

大语言模型（LLM）具备执行上下文学习（ICL）的卓越能力，使其能够同时处理多个下游任务，而无需针对特定任务进行微调。最近的研究表明，即使是中等规模的 LLM，如 Mistral 7B、Gemma 7B 和 Llama-3 8B，也可以通过对所有任务一次性进行少样本上下文微调来实现 ICL。然而，这种方法仍然落后于专用微调，即为每个单独任务训练一个单独的模型。在本文中，我们提出了一种新颖的方法，多样本上下文微调（ManyICL），通过将 ICL 的原理扩展到多样本设置，显著缩小了这一性能差距。为了释放 ManyICL 的全部潜力并解决处理包含大量上下文示例的长序列时固有的低效问题，我们提出了一种新颖的训练目标。我们的方法不再仅仅预测最终答案，而是将上下文中的每个答案都视为有监督的训练目标。这有效地将多样本示例的角色从提示转变为自回归学习的目标。通过在分类、摘要、问答、自然语言推理和数学等多种下游任务上进行广泛实验，我们证明 ManyICL 显著优于零样本/少样本微调，并接近专用微调的性能。此外，ManyICL 显著缓解了零样本/少样本微调中观察到的灾难性遗忘问题。代码将在发表后公开提供。