文档神经自回归分布估计
机器学习
2016-03-21 v1 计算与语言
摘要
我们提出一种基于前馈神经网络的方法来学习文本文档的分布。该方法受神经自回归分布估计器（NADE）模型的启发，NADE 已被证明是离散值高维向量分布的良好估计器。在本文中，我们展示了 NADE 如何能成功适应文本数据的情况，保留 NADE 中采样或计算观测概率可以精确且高效完成的特性。该方法也可用于学习文档的深度表示，其竞争力可与替代的主题建模方法学到的表示相媲美。最后，我们描述了该方法如何能与常规神经网络 N-gram 模型结合，并通过使其学习到的表示对更大的、特定于文档的上下文敏感，从而大幅提高其性能。
引用
@article{arxiv.1603.05962,
title = {Document Neural Autoregressive Distribution Estimation},
author = {Stanislas Lauly and Yin Zheng and Alexandre Allauzen and Hugo Larochelle},
journal= {arXiv preprint arXiv:1603.05962},
year = {2016}
}