兼具易用性与可扩展性的迁移主题建模
计算与语言
2013-01-29 v2 机器学习
机器学习
摘要
在Twitter或Facebook等社交媒体网站上生成的海量短文本，对有效且高效的主题建模方法产生了巨大需求。虽然可以应用潜在狄利克雷分配（LDA），但由于其在处理具有快速变化主题的短文本方面的弱点以及可扩展性问题，它并非最优。在本文中，我们提出了一种迁移学习方法，利用来自其他领域（如Yahoo! News或Wikipedia）的大量标注文档来改进主题建模，并具有更好的模型拟合和结果解释。具体而言，我们开发了迁移层次LDA（thLDA）模型，该模型通过信息先验结合了来自其他领域的标签信息。此外，我们为大规模应用开发了该模型的并行实现。我们在一个微博数据集以及包括AP和RCV1数据集在内的标准文本集合上证明了我们的thLDA模型的有效性。
引用
@article{arxiv.1301.5686,
title = {Transfer Topic Modeling with Ease and Scalability},
author = {Jeon-Hyung Kang and Jun Ma and Yan Liu},
journal= {arXiv preprint arXiv:1301.5686},
year = {2013}
}
备注
2012 SIAM International Conference on Data Mining (SDM12) Pages: {564-575}