用于测量主题多样性的主题模型层次化重估计
信息检索
2017-01-17 v1
摘要
高度的主题多样性常被视为有趣文本文档的重要特征。近期一项测量主题多样性的提议确定了评估多样性的三个要素：词、主题和作为词集合的文档。主题模型在此方法中起核心作用。由于通用性和不纯性，使用标准主题模型测量文档多样性并非最优。通用主题仅包含背景语料的通用信息，并被分配给集合中大多数文档。不纯主题包含与主题无关的词；不纯性降低了主题模型的可解释性，且不纯主题可能被错误分配给文档。我们提出一种主题模型的层次化重估计方法来对抗通用性和不纯性；该方法在三个层次运作：词、主题和文档。我们测量文档主题多样性的重估计方法在常用于多样性实验的PubMed数据集上优于最先进水平。
引用
@article{arxiv.1701.04273,
title = {Hierarchical Re-estimation of Topic Models for Measuring Topical Diversity},
author = {Hosein Azarbonyad and Mostafa Dehghani and Tom Kenter and Maarten Marx and Jaap Kamps and Maarten de Rijke},
journal= {arXiv preprint arXiv:1701.04273},
year = {2017}
}
备注
Proceedings of the 39th European Conference on Information Retrieval (ECIR2017)