中文

一种用于地理语言变异的核独立性检验

计算与语言 2016-08-30 v2

摘要

量化语言变量的空间依赖程度是分析方言变异的一项关键任务。然而,现有方法存在重要缺陷。首先,它们基于依赖的参数模型,这在底层参数假设被违反时限制了其功效。其次,它们并非适用于所有类型的语言数据:某些方法仅适用于频率,另一些适用于语言变量是否出现的布尔指示符。我们提出一种测量地理语言变异的新方法,解决了这两个问题。我们的方法构建于用于非参数统计的再生核希尔伯特空间(RKHS)表示之上,采取检验统计量的形式,该统计量由成对的个体地理标记观测计算而得,无需聚合到预定义的地理箱中。我们使用合成数据以及一组多样化的真实数据集(荷兰语推文语料库、荷兰语句法地图集、北美报纸读者来信数据集)将本检验与先前工作进行比较。所提出的检验被证明能在广泛的场景和数据类型下支持稳健推断。

关键词

引用

@article{arxiv.1601.06579,
  title  = {A Kernel Independence Test for Geographical Language Variation},
  author = {Dong Nguyen and Jacob Eisenstein},
  journal= {arXiv preprint arXiv:1601.06579},
  year   = {2016}
}

备注

In submission. 26 pages