面向孟加拉语的连续空间神经语言模型
计算与语言
2020-01-16 v1 机器学习
摘要
语言模型通常用于估计各种语言单元的概率分布，使其成为自然语言处理的基本组成部分之一。语言模型的应用涵盖文本摘要、翻译和分类等广泛任务。对于像孟加拉语这样的低资源语言，迄今为止该领域的研究至少可以说是狭窄的，仅提出了一些传统的基于计数的模型。本文试图解决这一问题，提出了一种连续空间神经语言模型，更具体地说是 ASGD 权重丢弃 LSTM 语言模型，以及针对孟加拉语高效训练该模型的技术。本文中与一些当前已有的基于计数模型的性能分析表明，所提出的架构在孟加拉语留出数据集上取得了低至 51.2 的推断困惑度，优于同类模型。
引用
@article{arxiv.2001.05315,
title = {A Continuous Space Neural Language Model for Bengali Language},
author = {Hemayet Ahmed Chowdhury and Md. Azizul Haque Imon and Anisur Rahman and Aisha Khatun and Md. Saiful Islam},
journal= {arXiv preprint arXiv:2001.05315},
year = {2020}
}
备注
6 pages