网站嵌套网页文本建模中的局部与全局主题

主题模型是用于分析文本文档集合的流行模型。这些模型断言文档是潜在主题上的分布，而潜在主题是词上的分布。嵌套文档集合是指文档嵌套于更高阶结构之中，例如书中的故事、期刊中的文章或网站中的网页。在单一文档集合中，主题是全局的，或在所有文档间共享。对于嵌套于网站中的网页，主题频率很可能因网站而异。在一个网站内部，主题频率几乎必然因网页而异。用于主题频率的层次先验对这种层次结构建模，并指定一个全局主题分布。网站主题分布围绕全局主题分布变化，而网页主题分布围绕网站主题分布变化。在嵌套的网页集合中，某些主题可能仅属于单一网站。嵌套网页集合中的局部主题是某一网站独有的主题。对于美国地方卫生部门网站，对文本的简要检查显示出每个部门特有的、其他部门没有的局部地理与新闻主题。忽略嵌套结构的主题模型可能识别出局部主题，但既不将主题标记为局部，也不显式识别该局部主题的网站所有者。对于嵌套于网站内的网页，局部主题模型显式标记局部主题并识别所属网站。这一识别可用于调整关于全局主题的推断。在美国公共卫生网站数据中，在从页面中移除局部主题词之后，主题覆盖度在网站层面定义。层次局部主题模型可用于识别局部主题、调整关于网站是否覆盖特定健康主题的推断，并研究健康主题被覆盖的程度。