SweCTRL-Mini：用于瑞典语可控文本生成的数据透明型基于 Transformer 的大语言模型
计算与语言
2023-06-23 v3
摘要
我们提出了 SweCTRL-Mini，这是一个大型瑞典语语言模型，可在单个消费级 GPU 上用于推理和微调。该模型基于 Keskar, McCann, Varshney, Xiong 和 Socher (2019) 的 CTRL 架构，这意味着 SweCTRL-Mini 模型的用户可以通过在生成提示中插入特殊词元来控制生成文本的体裁。SweCTRL-Mini 在 mC4 语料库的瑞典语部分子集和一组瑞典语小说上进行训练。在本文中，我们提供了 (1) 所用训练数据和文本预处理步骤的详细说明，以至于可以检查特定短语/来源是否属于训练数据的一部分，以及 (2) 使用自动评估方法在判别式任务上，和使用人工裁判在生成式任务上对模型的评估。我们还比较了该模型与 GPT-3 的生成能力。SweCTRL-Mini 是完全开放的，可供下载。
关键词
引用
@article{arxiv.2304.13994,
title = {SweCTRL-Mini: a data-transparent Transformer-based large language model for controllable text generation in Swedish},
author = {Dmytro Kalpakchi and Johan Boye},
journal= {arXiv preprint arXiv:2304.13994},
year = {2023}
}
备注
Added information about training tokenizer