从任务指令中学习的鲁棒性
计算与语言
2023-05-24 v4
摘要
传统监督学习大多在单个任务上工作，并需要在大量任务特定样本上训练。这一范式严重阻碍了任务泛化的发展，因为准备任务特定样本集成本高昂。为构建能快速且容易泛化到新任务的系统，任务指令近来作为一种新兴的监督趋势被采用。这些指令给出任务的定义，并允许模型基于指令和输入输出恰当答案。然而，任务指令常以不同形式表达，可从两条线索理解：第一，一些指令是短句且面向预训练语言模型 (PLM)，如提示 (prompt)，而其他指令是段落且面向人类，如 Amazon MTurk 中的那些；第二，不同终端用户极可能用不同文本表达的指令解释同一任务。一个鲁棒的任务泛化系统应能处理任何新任务，而不管指令的变异性。然而，系统在处理指令驱动的任务泛化时的鲁棒性仍未被探索。本工作考察了当新任务的指令被 (i) 篡改、(ii) 改写、或 (iii) 来自不同简洁程度时系统的鲁棒性。据我们所知，这是首个系统研究 PLM 在受不同变异性因素指令监督时有多鲁棒的工作。
引用
@article{arxiv.2212.03813,
title = {Robustness of Learning from Task Instructions},
author = {Jiasheng Gu and Hongyu Zhao and Hanzi Xu and Liangyu Nie and Hongyuan Mei and Wenpeng Yin},
journal= {arXiv preprint arXiv:2212.03813},
year = {2023}
}
备注
ACL'23 Finding Accepted