利用潜在狄利克雷分配与神经网络的特征提取：以电影简介为例
计算与语言
2016-04-06 v1 人工智能
信息检索
机器学习
机器学习
摘要
特征提取在机器学习领域受到越来越多的关注，因为为了从大数据中检测模式、提取信息或预测未来观测，信息性特征的迫切需求至关重要。特征提取过程与维度缩减高度相关，因为它意味着将数据从稀疏高维空间转换为更高层次的语义抽象。本文利用神经网络获取分布式段落表示，并利用潜在狄利克雷分配捕获段落向量的更高层特征。尽管用于分布式段落表示的神经网络被视为提取段落向量的 state of the art 方法，我们表明诸如潜在狄利克雷分配这样的快速主题分析模型也能提供有意义的特征。我们在CMU Movie Summary Corpus（一个从维基百科提取的25,203篇电影情节摘要的集合）上评估了这两种方法。最后，对两种方法我们都使用K-Nearest Neighbors来发现相似电影，并利用T-Distributed Stochastic Neighbor Embedding绘制投影表示以描绘上下文相似性。这些以电影距离表示的相似性可用于电影推荐。将本方法的推荐电影与IMDB使用的协同过滤推荐方法的推荐电影进行比较，表明我们的两种模型可构成替代或补充的推荐方法。
引用
@article{arxiv.1604.01272,
title = {Feature extraction using Latent Dirichlet Allocation and Neural Networks: A case study on movie synopses},
author = {Despoina Christou},
journal= {arXiv preprint arXiv:1604.01272},
year = {2016}
}