Multi-BERT:利用适配器和提示调优的低资源多领域适应
计算与语言
2024-04-04 v1 人工智能
摘要
文本数量和多样性的迅速扩展在多领域设置中带来了严峻挑战。这些挑战在波斯语命名实体识别(NER)设置中也很明显。传统方法,要么对多个领域采用统一模型,要么对每个领域采用单独模型,常常带来显著限制。单一模型通常难以捕捉不同领域的细微差别,而使用多个大型模型可能导致资源限制,使得为每个领域训练模型几乎不切实际。因此,本文引入了一种新颖的方法,由一个核心模型和多组领域特定参数组成。我们利用提示调优和适配器等技术,结合额外层的加入,来添加我们可以针对特定领域训练的参数。这使得模型能够与每个领域的单独模型性能相当。在不同正式和非正式数据集上的实验结果表明,通过使用这些添加的参数,所提出的模型在性能上显著超越了现有的实用模型。值得注意的是,所提出的模型仅需一个实例进行训练和存储,但在所有领域都取得了出色的结果,甚至在某些领域超越了最先进水平。此外,我们分析了每种适应策略,描述了其优势、劣势以及波斯语NER设置的最优超参数。最后,我们引入了一个基于文档的领域检测管道,专为未知文本领域的场景设计,增强了本文在实际应用中的适应性和实用性。
引用
@article{arxiv.2404.02335,
title = {Multi-BERT: Leveraging Adapters and Prompt Tuning for Low-Resource Multi-Domain Adaptation},
author = {Parham Abed Azad and Hamid Beigy},
journal= {arXiv preprint arXiv:2404.02335},
year = {2024}
}