指令学习难在何处？基于合成环境的探究与新挑战
计算与语言
2022-05-26 v2 人工智能
摘要
指令学习范式——模型仅从任务描述中学习执行新任务——已在通用模型研究中变得流行。然而，大型 transformer 模型作为指令学习器的能力仍知之甚少。我们使用受控合成环境来刻画此类能力。具体而言，我们使用判断给定字符串是否匹配正则表达式（视为指令）的任务，来识别使指令学习具有挑战性的任务、指令和实例的属性。例如，我们发现我们的模型（一个微调的基于 T5 的 text2text transformer）难以处理大型正则语言，表明不够精确的指令对模型而言具有挑战性。此外，需要追踪更长的前序步骤上下文的指令执行也更加困难。我们利用发现系统性地构建了一个具有挑战性的指令学习数据集，称之为 Hard RegSet。在 Hard RegSet 上微调后，我们的大型 transformer 仅能正确解释 65.6% 的测试指令（准确率至少 90%），在分布外泛化设置中能解释 11%–24% 的指令。我们提出 Hard RegSet 作为一个具有挑战性的指令学习任务，以及一个用于研究指令学习的受控环境。
引用
@article{arxiv.2204.09148,
title = {What Makes Instruction Learning Hard? An Investigation and a New Challenge in a Synthetic Environment},
author = {Matthew Finlayson and Kyle Richardson and Ashish Sabharwal and Peter Clark},
journal= {arXiv preprint arXiv:2204.09148},
year = {2022}
}
备注
Typos corrected, rewordings