Taiwan LLM：以文化对齐语言模型弥合语言鸿沟
计算与语言
2023-11-30 v1 人工智能
摘要
在语言模型领域，台湾所使用繁体中文的细微语言与文化特质在很大程度上被忽视。本文介绍 Taiwan LLM，一种开创性的大语言模型（LLM），专门服务于繁体中文，并聚焦台湾所用变体。借助全面的预训练语料与指令微调数据集，我们开发了不仅理解繁体中文复杂性、更体现台湾文化语境的模型。Taiwan LLM 属首创，不仅在语言上准确，更与其用户群体产生文化共鸣。我们的评估表明，Taiwan LLM 在理解与生成繁体中文文本上取得优越性能，优于主要训练于简体中文或英文的现有模型。Taiwan LLM 的开源发布邀约协作与进一步创新，确保中文使用者的语言多样性被接纳并妥善服务。模型、数据集与更多资源已公开，以促进该领域的持续研发。
引用
@article{arxiv.2311.17487,
title = {Taiwan LLM: Bridging the Linguistic Divide with a Culturally Aligned Language Model},
author = {Yen-Ting Lin and Yun-Nung Chen},
journal= {arXiv preprint arXiv:2311.17487},
year = {2023}
}