检测社交媒体上的语言多样性

本章探讨了使用社交媒体数据来考察某地不断变化的语言行为的有效性。我们将调查重点放在 Aotearoa New Zealand，该地官方人口普查统计数据是语言使用数据的唯一来源。我们将已发布的人口普查数据作为真实参考，并将全球语言使用语料库中的社交媒体子语料库作为我们的替代数据源。我们以地点作为两个数据源之间的共同基准。我们识别社交媒体数据集中每条推文的语言状况，并使用两个语言识别模型验证了我们的结果。随后，我们比较了国家、区域和地方地理层面的语言多样性水平。结果表明，社交媒体语言数据有可能为某地的语言概况提供丰富的时空洞察。我们表明，社交媒体对语言内部以及低级别区域和地方地理层面的人口与社会政治变化具有敏感性。