用于共现学习的深度嵌入模型
机器学习
2015-06-05 v2
摘要
共现数据是许多领域常见且重要的信息源，例如句子中的词共现、社交网络中的朋友共现和商业交易数据中的产品共现等，其中包含关于项目的丰富相关性和聚类信息。本文利用一种通用的基于能量的概率模型研究共现数据，并分析了三种不同类别的基于能量模型，即L₁、L₂和Lₖ模型，它们能够捕获共现数据中不同层次的依赖关系。我们还讨论了若干典型现有模型与这三类能量模型的关系，包括全可见玻尔兹曼机（FVBM）（L₂）、矩阵分解（L₂）、对数双线性（LBL）模型（L₂）和受限玻尔兹曼机（RBM）模型（Lₖ）。随后，我们以严谨的方式从能量模型中提出了一种深度嵌入模型（DEM）（Lₖ模型）。此外，鉴于能量模型中的配分函数难以处理且建模共现数据的主要目标是利用条件概率进行预测，我们采用最大伪似然方法学习DEM。因此，所发展的模型及其学习方法自然地避免了上述困难，并且可以便捷地用于预测中的条件概率计算。有趣的是，我们的方法等价于使用反向传播和特殊采样策略学习一种特殊结构的深度神经网络，这使得它能够在大规模数据集上高效扩展。最后，在实验中，我们表明DEM在多个应用领域的多个数据集上取得了与最先进方法相当或更优的结果。
引用
@article{arxiv.1504.02824,
title = {A Deep Embedding Model for Co-occurrence Learning},
author = {Yelong Shen and Ruoming Jin and Jianshu Chen and Xiaodong He and Jianfeng Gao and Li Deng},
journal= {arXiv preprint arXiv:1504.02824},
year = {2015}
}