DialectGram：在多地理分辨率下检测方言变异
计算与语言
2019-10-17 v2
摘要
近年来已开发若干计算模型来检测与分析方言变异。这些模型大多假设一组预定义的地理区域，并在其上检测与分析方言变异。然而，方言变异出现在多个地理分辨率层级上，从一州内的城市、一国内的各州，到跨大陆的国家之间。在本工作中，我们提出一种能够在多地理分辨率层级下检测方言变异的模型，免除了对分辨率层级进行先验定义的需要。我们的方法DialectGram在学习方言敏感词嵌入时与地理分辨率无关。具体而言，它仅需一次训练，并支持在事后对所选择的分辨率进行方言变异分析——这与先前模型在预定义区域集变更时必须重新训练的做法显著不同。此外，DialectGram显式建模词义，从而能够估计任一给定区域中每个词义用法的比例。最后，我们在一个新的评估数据集DialectSim（英文）上与其他基线定量比较，表明DialectGram能有效建模语言变异。
引用
@article{arxiv.1910.01818,
title = {DialectGram: Detecting Dialectal Variation at Multiple Geographic Resolutions},
author = {Hang Jiang and Haoshen Hong and Yuxing Chen and Vivek Kulkarni},
journal= {arXiv preprint arXiv:1910.01818},
year = {2019}
}
备注
Hang Jiang, Haoshen Hong, and Yuxing Chen are equal contributors