机器生成指令的有效性
计算与语言
2023-12-25 v1
摘要
大型“指令微调”语言模型（即微调以响应指令）已经表现出令人惊讶的零样本泛化到新任务的能力。然而，它们严重依赖于人类编写的指令数据，这些数据通常在数量、多样性和创造性方面有限，因此阻碍了微调模型的通用性。我们进行了一项定量研究，以确定机器生成注释的有效性，其中我们比较了微调BERT模型与人类注释和机器生成注释的结果。将我们的方法应用于原始GPT-3模型，我们看到机器生成的注释正确率为78.54%，微调模型达到了与人类标记注释相比96.01%的模型性能。这个结果表明，机器生成的注释是一种资源和经济有效的微调下游模型的方式。
引用
@article{arxiv.2312.14423,
title = {Efficacy of Machine-Generated Instructions},
author = {Samaksh Gulati and Anshit Verma and Manoj Parmar and Palash Chaudhary},
journal= {arXiv preprint arXiv:2312.14423},
year = {2023}
}
备注
8 pages, 2 pages references, 6 Tables, 8 Figures