基于语料相似度度量的语言变体表征具有可靠性
计算与语言
2021-04-06 v1
摘要
本文度量了九种语言中 84 种语言变体内部及之间的相似性。这些语料库取自数字来源（网络和推文），使我们能够评估此类地理参考语料库是否可靠用于建模语言变异。基本思想是，如果每个来源充分代表单一的底层语言变体，那么这些来源之间的相似性应在所有语言和国家中保持稳定。本文表明，使用基于频率的语料相似度度量，这些来源之间存在一致的一致性。这进一步证明数字地理参考语料库一致地代表本地语言变体。
引用
@article{arxiv.2104.01294,
title = {Representations of Language Varieties Are Reliable Given Corpus Similarity Measures},
author = {Jonathan Dunn},
journal= {arXiv preprint arXiv:2104.01294},
year = {2021}
}