LanideNN：基于字符窗口的多语种语言识别
计算与语言
2017-08-01 v2
摘要
在语言识别（自然语言处理中常见的第一步）中，我们希望自动确定某些输入文本的语言。单语语言识别假定给定文档以一种语言写成。在多语种语言识别中，文档通常包含两到三种语言，而我们仅需要其名称。我们更进一步，提出一种文本语言识别方法，其中语言可任意切换，目标是识别每种语言的跨度。我们的方法基于双向循环神经网络（Bidirectional Recurrent Neural Networks），在涵盖131种语言的六个数据集上的单语和多语种语言识别任务中表现良好。该方法对于短文档和跨领域也保持准确性，因此无需准备训练数据即可开箱即用。
引用
@article{arxiv.1701.03338,
title = {LanideNN: Multilingual Language Identification on Character Window},
author = {Tom Kocmi and Ondřej Bojar},
journal= {arXiv preprint arXiv:1701.03338},
year = {2017}
}
备注
Accepted to EACL 2017