基于半马尔可夫条件随机场时长建模的关键短语抽取
信息检索
2022-09-20 v1
摘要
现有的关键短语抽取方法需要预处理以生成候选短语或后处理将关键词转换为关键短语。本文提出一种称为半马尔可夫条件随机场时长建模（DM-SMCRFs）的关键短语抽取新方法。首先，基于半马尔可夫链的性质，DM-SMCRFs 可编码片段级特征，并将句中短语顺序分类为关键短语或非关键短语。其次，通过假设状态转移与状态时长相互独立，DM-SMCRFs 对关键短语的时长（长度）分布进行建模，以进一步挖掘状态时长信息，从而帮助确定关键短语的规模。基于由时长分布导出的参数化时长特征的凸性，推导出约束 Viterbi 算法以提升 DM-SMCRFs 的解码性能。我们在多个领域的数据集上充分评估了 DM-SMCRFs 的性能，实验结果表明了所提模型的有效性。
引用
@article{arxiv.2209.09149,
title = {Duration modeling with semi-Markov Conditional Random Fields for keyphrase extraction},
author = {Xiaolei Lu and Tommy W. S. Chow},
journal= {arXiv preprint arXiv:2209.09149},
year = {2022}
}