迈向零样本指令遵循

本文提出了一种更具挑战性也更贴近现实的零样本跨任务泛化设定：零样本指令遵循，即假定存在段落式任务定义但无演示样本。为更好地从定义中学习任务监督，我们提出两种策略：第一，自动找出定义中的关键句；第二，采用排序目标，当这些关键部分在定义中被高亮时，迫使模型以更高概率生成标准输出。两种策略协同作用，在Super-NaturalInstructions上取得了最先进的性能。我们的代码已在GitHub上提供。