利用Transformer适配器扩展母语识别的规模化应用
计算与语言
2022-11-21 v1
摘要
母语识别(NLI)是基于个体在习得语言中的语言产出自动识别其母语(L1)的任务。它可用于多种目的,包括营销、安全和教育应用。NLI通常被构建为多标签分类任务,其中结合众多设计特征以达到最先进的结果。最近基于transformer解码器(GPT-2)的深度生成方法优于同类方法,并在NLI基准数据集上取得了最佳结果。我们研究该方法,以确定相较于传统最先进NLI系统的实际影响。我们引入transformer适配器以解决内存限制并提升训练/推理速度,从而使NLI应用能够规模化用于生产环境。
引用
@article{arxiv.2211.10117,
title = {Scaling Native Language Identification with Transformer Adapters},
author = {Ahmet Yavuz Uluslu and Gerold Schneider},
journal= {arXiv preprint arXiv:2211.10117},
year = {2022}
}
备注
Paper accepted to International Conference on Natural Language and Speech Processing 2022 (ICNLSP 2022)