NLP中RNN与词嵌入的涌现代数结构
计算与语言
2018-03-09 v1 人工智能
机器学习
摘要
我们考察了在文本分类任务上端到端训练的一个单向GRU和词嵌入的代数与几何性质。我们对词嵌入维度、GRU隐藏维度以及GRU输出的线性组合进行了超参数搜索。我们得出结论：词自然地将自身嵌入到一个李群(Lie group)中，且RNN形成了该群的一个非线性表示。基于这些结果，我们提出了一类新颖的类循环神经网络和一种词嵌入方案。
引用
@article{arxiv.1803.02839,
title = {The emergent algebraic structure of RNNs and embeddings in NLP},
author = {Sean A. Cantrell},
journal= {arXiv preprint arXiv:1803.02839},
year = {2018}
}
备注
24 pages, 16 figures