词网络主题模型：一种面向短文本和不平衡文本的简单通用解决方案
计算与语言
2014-12-18 v1 信息检索
摘要
近几十年来，短文本已成为互联网信息的普遍格式，尤其是在线社交媒体的发展，其数百万用户每天生成海量短消息。尽管短文本传递的丰富信号使其成为主题建模的一个有前景的来源，但其极端的稀疏性和不平衡性给传统主题模型（如 LDA 及其变体）带来了前所未有的挑战。为了提出一种简单而通用的短文本主题建模解决方案，我们提出了一种基于词共现网络的模型，名为 WNTM，以同时解决稀疏性和不平衡性问题。与以往方法不同，WNTM 为每个词建模主题分布，而不是为每个文档学习主题，这成功增强了数据空间的语义密度，同时未引入过多的时间或空间复杂度。同时，词-词空间中保留的丰富上下文信息也保证了其在以令人信服的质量识别稀有主题方面的敏感性。此外，采用与 LDA 相同的 Gibbs 采样使 WNTM 易于扩展到各种应用场景。在短文本和普通文本上的广泛验证证明了 WNTM 相较于基线方法的优越性能。最后，我们还展示了其在微博中于较早阶段精确发现新涌现主题或突发事件的潜力。
引用
@article{arxiv.1412.5404,
title = {Word Network Topic Model: A Simple but General Solution for Short and Imbalanced Texts},
author = {Yuan Zuo and Jichang Zhao and Ke Xu},
journal= {arXiv preprint arXiv:1412.5404},
year = {2014}
}