DeBERTinha：一种将 DebertaV3 XSmall 适配于巴西葡萄牙语自然语言处理任务的多步方法
计算与语言
2023-11-01 v2
摘要
本文提出一种将英文预训练的 DebertaV3 XSmall 模型适配于巴西葡萄牙语自然语言处理（NLP）任务的方法。该方法论的一个关键方面涉及多步训练过程，以确保模型有效调谐至葡萄牙语。来自 Carolina 与 BrWac 的初始数据集经过预处理以解决表情符号、HTML 标签与编码等问题。使用 SentencePiece 创建了含 50,000 个词元的葡萄牙语特定词表。我们并未从头训练，而是利用预训练英文模型的权重初始化大部分网络，嵌入层随机初始化，认识到从头训练代价高昂。模型使用与 DebertaV3 训练同格式的替换词元检测任务进行微调。适配后的模型称为 DeBERTinha，在命名实体识别、情感分析与句子相关性判定等下游任务上展现出有效性，尽管仅有 40M 参数，却在两项任务上优于 BERTimbau-Large。
引用
@article{arxiv.2309.16844,
title = {DeBERTinha: A Multistep Approach to Adapt DebertaV3 XSmall for Brazilian Portuguese Natural Language Processing Task},
author = {Israel Campiotti and Matheus Rodrigues and Yuri Albuquerque and Rafael Azevedo and Alyson Andrade},
journal= {arXiv preprint arXiv:2309.16844},
year = {2023}
}
备注
6 pages, 1 table