文本流中句子级新颖性检测的改进系统
信息检索
2017-06-06 v1 人工智能
计算与语言
摘要
新闻事件的新颖性检测长期以来是一个难题。许多模型在特定数据流上表现良好，但某些问题远未解决，尤其在来自 WWW 的大数据流中，新词不可预测性要求向量空间模型进行适应。我们提出了一种基于增量词频-逆文档频率(TF-IDF)权重与局部敏感哈希(LSH)相结合的新事件检测系统。我们的系统能够通过持续更新向量空间模型，高效且有效地适应任何新词数据流内的变化。关于丢失概率(miss probability)，在评估来自 Google News 的基准数据集时，我们提出的新颖性检测框架比一个公认的基线系统优约 16%。
引用
@article{arxiv.1605.00122,
title = {An Improved System for Sentence-level Novelty Detection in Textual Streams},
author = {Xinyu Fu and Eugene Ch'ng and Uwe Aickelin and Lanyun Zhang},
journal= {arXiv preprint arXiv:1605.00122},
year = {2017}
}