利用开源解码器Gervásio PT*推进葡萄牙语生成式AI
计算与语言
2024-03-06 v2
摘要
为了推进葡萄牙语的神经解码，本文提出了一个完全开源的、基于Transformer的、经过指令微调的解码器模型，在该方面树立了新的最先进水平。为了开发这个我们命名为Gervásio PT*的解码器，我们以强大的LLaMA~2 7B模型为起点，并通过额外的训练对其进一步改进，训练使用了为此目的准备的新的葡萄牙语指令数据集，这些数据集也在本文中贡献。所有版本的Gervásio都是开源的，并在开放许可下免费分发，包括用于研究或商业用途，并且可以在消费级硬件上运行，从而旨在促进葡萄牙语语言技术的研究和创新。
引用
@article{arxiv.2402.18766,
title = {Advancing Generative AI for Portuguese with Open Decoder Gerv\'asio PT*},
author = {Rodrigo Santos and João Silva and Luís Gomes and João Rodrigues and António Branco},
journal= {arXiv preprint arXiv:2402.18766},
year = {2024}
}