一条额外指令相当于多少数据样本？
计算与语言
2023-02-15 v3 人工智能
计算机视觉与模式识别
机器学习
摘要
近期提出的指令范式通过以自然语言定义新任务，使非专家用户能够利用 NLP 资源。指令微调模型显著优于多任务学习模型（无指令）；然而它们远未达到最先进的任务专用模型水平。通过创建含大量任务实例的数据集或改变模型架构来提升模型性能的传统方法，对非专家用户而言可能不可行。但他们可以编写替代指令来表示一项指令任务。指令增强是否有帮助？我们用额外指令增强了 NATURAL INSTRUCTIONS 扩展版中的部分任务，发现其显著提升了模型性能（最高达 35%），尤其在低数据场景下。我们的结果表明，一条额外指令平均相当于跨任务约 200 个数据样本。
引用
@article{arxiv.2203.09161,
title = {How Many Data Samples is an Additional Instruction Worth?},
author = {Ravsehaj Singh Puri and Swaroop Mishra and Mihir Parmar and Chitta Baral},
journal= {arXiv preprint arXiv:2203.09161},
year = {2023}
}
备注
EACL 2023 Findings