学习外推新任务：面向任务外推的关系方法

现代学习系统在插值方面表现出色，但在训练分布支持范围之外的未见任务上难以泛化。即使在简单情境下，例如处理训练范围之外的任务参数，也仍会出现这种失败，尽管基础模型的进步也未能改变这一点。为此，我们发展了关系任务外推器 (Relational Task Extrapolator, RTE)，这是一种旨在启用对新任务进行系统外推的算法。关键观察是，外推本质上是关系性的：外推到未见任务需要学习任务之间的转换方式。如果模型在训练期间学习了任务 A 与 B 之间的转换，则可在测试时将该相同转换应用于将已知任务与未知任务关联。RTE 通过将每个目标任务分解为一个已知锚点任务和连接锚点与目标之间的转换来实现这一思想，然后学习一种关系算子，将锚点-转换对映射到目标任务的预测。我们在函数预测中的多个任务外推情境中实现了 RTE，例如目标任务使用超出参数范围的值 (参数外推)、具有更大的组成深度 (长度外推) 和/或以不可见方式重新组合函数原语 (组成外推)。我们进一步将 RTE 扩展到序列预测，集成到基础模型的微调算法中。在实证研究中，我们发现 RTE 在对新颖、未见任务的外推方面显著优于现有方法。