利用语码转换突破语言障碍
计算与语言
2020-06-17 v2 计算机与社会
机器学习
摘要
语码混合（或语码转换）在由语言多样化用户群体生成的社交媒体内容中是一种常见现象。研究表明，在印度次大陆，相当大比例的社交媒体帖子表现出语码转换。尽管语码混合文档给进一步下游分析带来的困难已被充分理解，但在某些场景下提升语码混合文档的可见性可能具有此前被忽视的效用。例如，以多种语言混合写成的文档可以对更广泛的受众部分可读；如果相当大比例的受众不精通其中一种组成语言，这可能特别有用。在本文中，我们提供了一种系统的方法来采样语码混合文档，利用基于多语嵌入的方法，仅需极少的监督。在由普尔瓦马恐怖袭击引发的2019年印巴冲突背景下，我们展示了利用语码混合促进人类福祉的未开发潜力：从仅基于英文文档训练的现有扩散敌意的“希望言论（hope speech）”分类器出发，语码混合文档被用作桥梁，以检索以低资源但广泛使用的语言——罗马化印地语写成的“希望言论”内容。我们提出的流程仅需极少监督，并有望大幅减少网络审核工作。
引用
@article{arxiv.2001.11258,
title = {Harnessing Code Switching to Transcend the Linguistic Barrier},
author = {Ashiqur R. KhudaBukhsh and Shriphani Palakodety and Jaime G. Carbonell},
journal= {arXiv preprint arXiv:2001.11258},
year = {2020}
}