主题增强的显式语义分析

我们提出了 Gabrilovich 和 Markovitch 的显式语义分析（Explicit Semantic Analysis, ESA）的扩展版本，即主题增强版，其中我们通过 Wikipedia 的类别结构获取主题信息。为此，我们首先定义了类别 tfidf 的概念，用于衡量术语在类别中的相关性。使用该度量作为权重，我们计算将 Wikipedia 语料库视为页面和类别的有向图时的最大生成树。该树为我们提供了每个页面与层级顶部之间“最相关类别”的唯一路径。我们通过聚合页面中单词的 tfidf 与这些路径节点的类别 tfidf 来增强单词的 tfidf，并定义了一种主题增强的 ESA 语义相关性度量，该度量比标准 ESA 更稳健，且对由上下文外单词引起的噪声较不敏感。我们将该方法应用于法文 Wikipedia 语料库，通过在包含 20 个法文新闻组的 37.5 MB 语料库上进行文本分类进行评估，结果显示其精度比标准 ESA 提高了 9-10%。