从文本中学习提取关键短语

许多学术期刊要求作者提供大约五到十五个关键词的列表，并刊登在每篇文章的第一页。由于这些关键词通常是两个或更多词组成的短语，我们更倾向于称其为关键短语。正如本文所讨论的，关键短语可用于多种多样的任务，其用途之广令人惊讶。最近的商业软件，如微软的 Word 97 和 Verity 的 Search 97，包含了从文档中自动提取关键短语的算法。在本文中，我们将从文本中自动提取关键短语的问题视为一个监督学习任务。我们将文档视为一组短语，学习算法必须学习将这些短语分类为关键短语的正例或负例。我们的第一组实验将 C4.5 决策树归纳算法应用于此学习任务。第二组实验将 GenEx 算法应用于该任务。我们专门为此任务开发了 GenEx 算法。第三组实验考察了 GenEx 在元数据生成任务上的性能，并与微软 Word 97 的性能进行了比较。第四组也是最后一组实验研究了 GenEx 在文本高亮任务上的性能，并与 Verity 的 Search 97 进行了比较。实验结果支持了这样一个论断：专门的学習算法（GenEx）能够比通用学习算法（C4.5）以及商业软件中使用的非学习算法（Word 97 和 Search 97）生成更好的关键短语。