蒙古语通用语料库适宜规模研究
计算与语言
2023-07-13 v1
摘要
本研究旨在确定蒙古语通用语料库的适宜规模。研究使用 Heaps 函数和类符形符比（Type Token Ratio, TTR）来确定蒙古语通用语料库的适宜规模。由 906,064 个形符（tokens）组成的样本语料库包含来自报纸政治、经济、社会、文化、体育、国际文章与法律、初高中文学教材、访谈文章以及播客转录稿等 10 个领域的文本。首先，我们利用该样本语料库估计了 Heaps 函数。接着，利用估计的 Heaps 函数，以每增加一百万形符观察类符数与 TTR 值的变化。观察结果发现，当形符数超过 3900 万至 4200 万时，TTR 值几乎不再变化。因此，我们得出结论：蒙古语通用语料库的适宜规模为 3900 万至 4200 万个形符。
引用
@article{arxiv.2307.06050,
title = {A Study on the Appropriate size of the Mongolian general corpus},
author = {Sunsoo Choi and Ganbat Tsend},
journal= {arXiv preprint arXiv:2307.06050},
year = {2023}
}