从实例训练到指令学习：基于指令的任务适配器生成

大型语言模型（LLMs）通过利用指令微调（instruction finetuning, IFT）已获得解决通用任务的能力。然而，IFT 仍严重依赖大量实例数据的训练，这大大限制了 LLMs 在实际场景中的适应性——在这些场景中，标记的任务实例稀缺且需要更广泛的任务泛化。与 LLMs 不同，人类通过重复练习之外，还通过理解和遵循指令指南来获取技能并完成任务。本文致力于模拟人类学习，以解决实例训练的不足，专注于指令学习以增强跨任务泛化。在此背景下，我们引入基于指令生成任务适配器（Task Adapters Generation from Instructions, TAGI），该方法无需对未知任务进行重新训练，即可根据给定的任务指令自动构建任务特定模型。具体而言，我们利用知识蒸馏来增强通过指令学习开发的 TAGI 与通过实例训练开发的任务特定模型之间的一致性，通过对标签、输出 logits 和适配器参数进行对齐来实现。TAGI 通过包括超网络预训练和微调的两阶段训练过程，具备跨任务泛化能力。我们在 Super-Natural Instructions 和 P3 数据集上评估了 TAGI。实验结果表明，TAGI 能匹配甚至优于传统元训练模型和其他超网络模型，同时显著降低了计算需求。