用于低资源领域特定软件需求分类的小样本学习方法
计算与语言
2023-02-15 v1
摘要
随着 BERT、DeBERTa、MiniLM、T5 等强预训练自然语言处理模型的出现，工业界将这些模型微调至其细分用例所需的数据量已大幅减少（通常仅需数百个标注样本即可获得合理性能）。然而，在汽车等低资源领域中，即便数百个标注样本也未必总能得到保证，这常常限制了此类深度学习模型在工业环境中的应用。本文旨在解决仅用少量标注样本（即小样本学习）微调此类预训练模型的挑战。我们的实验重点评估一系列多样化算法与方法在将博世（BOSCH）汽车领域文本软件需求分类为 3 类任务上的性能，每类仅使用 15 个标注样本进行微调。我们发现，虽然基于 SciBERT 和 DeBERTa 的模型在 15 个训练样本时往往最准确，但与基于 Siamese 和 T5 的模型相比，当标注样本增至 50 个时其性能提升极小。
引用
@article{arxiv.2302.06951,
title = {Few-shot learning approaches for classifying low resource domain specific software requirements},
author = {Anmol Nayak and Hari Prasad Timmapathini and Vidhya Murali and Atul Anil Gohad},
journal= {arXiv preprint arXiv:2302.06951},
year = {2023}
}
备注
6 pages, 1 figure