面向中文自然语言理解的超深度学习
计算与语言
2018-12-27 v1 机器学习
摘要
最近，双曲几何已被证明在构建编码层次和蕴含信息的嵌入方面是有效的。这使其特别适合对中文字符与词之间复杂的非对称关系进行建模。在本文中，我们首先在中文语料库上训练了一个大规模的双曲面 skip-gram 模型，然后将字符嵌入应用于一个基于 Poincare 盘模型的陀螺向量空间原理导出的下游双曲 Transformer 模型。在我们的实验中，基于字符的 Transformer 优于其基于词的欧几里得对应模型。据我们所知，这是中文 NLP 领域首次出现基于字符的模型优于基于词的对应模型的情况，从而得以规避中文分词 (CWS) 这一具有挑战性且依赖特定领域的任务。
关键词
引用
@article{arxiv.1812.10408,
title = {Hyperbolic Deep Learning for Chinese Natural Language Understanding},
author = {Marko Valentin Micic and Hugo Chu},
journal= {arXiv preprint arXiv:1812.10408},
year = {2018}
}
备注
11 pages, 1 figure