GPT-SW3 多语言分词器的训练与评估
计算与语言
2023-05-01 v1 人工智能
摘要
本文详细讨论了用于 GPT-SW3 的多语言分词器。该分词器使用 SentencePiece 库和 BPE 算法在 Nordic Pile 上训练。我们概述了该分词器最重要的特征，并分享了其习得词表的细节。此外，我们系统地分析了该分词器的性质，并针对数据中存在的不同语言评估了其性能。
引用
@article{arxiv.2304.14780,
title = {Training and Evaluation of a Multilingual Tokenizer for GPT-SW3},
author = {Felix Stollenwerk},
journal= {arXiv preprint arXiv:2304.14780},
year = {2023}
}