IruMozhi：泰米尔语双言现象的自动分类

泰米尔语是南亚的达罗毗荼语系语言，是一种高度双言的语言，日常使用中存在两种差异很大的语体：文学泰米尔语（偏好用于书写和正式交流）与口语泰米尔语（仅限于言语和非正式媒介）。口语泰米尔语在现代 NLP 系统中得到的支持不足。本文中，我们发布 IruMozhi，一个由人工标注的文学泰米尔语与口语泰米尔语平行文本数据集。我们训练分类器来完成识别文本所属语体的任务。我们利用这些模型来评估口语泰米尔语中预训练数据的可用性，审计现有泰米尔语标注数据集的构成，并鼓励未来关于该语体的工作。