深度学习时代用于自然语言处理的符号、分布式与分布表示：综述
计算与语言
2020-03-02 v2
摘要
自然语言本质上是人类知识的离散符号表示。机器学习和自然语言处理中近期的进展似乎与上述直觉相矛盾：离散符号正在消失，被称为分布式与分布表示的向量或张量所抹除。然而，分布式/分布表示与离散符号之间存在严格的联系，前者是后者的一种近似。更清晰地理解分布式/分布表示与符号之间的严格联系，必定会带来全新的深度学习网络。在本文中，我们进行了一项综述，旨在重建符号表示与分布式/分布表示之间的联系。现在是重振解释离散符号如何在神经网络内部表示这一领域的恰当时机。
引用
@article{arxiv.1702.00764,
title = {Symbolic, Distributed and Distributional Representations for Natural Language Processing in the Era of Deep Learning: a Survey},
author = {Lorenzo Ferrone and Fabio Massimo Zanzotto},
journal= {arXiv preprint arXiv:1702.00764},
year = {2020}
}
备注
25 pages