基于 Transformer 的 Albertina PT-* 推进葡萄牙语神经编码
计算与语言
2024-04-03 v2
摘要
为推进葡萄牙语（PT）的神经编码，并由此提升该语言在数字时代的技术准备度，我们开发了一种基于 Transformer 的基础模型，就此为葡萄牙语的两个变体——来自葡萄牙的欧洲葡萄牙语（PT-PT）与来自巴西的美洲葡萄牙语（PT-BR）——树立了新的最优水平。为开发这一我们命名为 Albertina PT-* 的编码器，我们以强大的 DeBERTa 模型为起点，并基于葡萄牙语数据集进行预训练，即在我们为 PT-PT 和 PT-BR 收集的数据集以及用于 PT-BR 的 brWaC 语料库上完成训练。通过在为葡萄牙语适配的知名下游语言处理任务上评估 Albertina 与竞争模型的性能来检验其实力。Albertina 的 PT-PT 与 PT-BR 两个版本均免费发布并采用尽可能宽松的许可证，且可在消费级硬件上运行，从而力求推动葡萄牙语语言技术研究与创新的进步。
引用
@article{arxiv.2305.06721,
title = {Advancing Neural Encoding of Portuguese with Transformer Albertina PT-*},
author = {João Rodrigues and Luís Gomes and João Silva and António Branco and Rodrigo Santos and Henrique Lopes Cardoso and Tomás Osório},
journal= {arXiv preprint arXiv:2305.06721},
year = {2024}
}