利用时序 IDF 实现文本流中的高效新颖性检测

文本流中的新颖性检测是一项具有挑战性的任务，出现在多种不同场景中，从电子邮件线程过滤到智能手机上的 RSS 新闻推送推荐。一种高效的新颖性检测算法可以为用户在浏览相关但通常已见过的内容时节省大量时间和资源。近期关于文本流中新颖文档检测的大多数研究要么基于几何距离，要么基于分布相似性，前者通常表现更好，但由于需要将传入文档与所有先前见过的文档进行比较，因此速度慢得多。在本文中，我们提出了一种文本流新颖性检测的新方法。我们描述了一种资源感知机制，得益于社交媒体的爆发和 Web 作为主要信息源的兴起，该机制能够处理当今海量文本流。我们利用了历史逆文档频率 (Inverse Document Frequency, IDF)，已知其能很好地捕捉术语特异性，并表明它可以成功地在文档层面用作文档新颖性的度量。这使我们能够避免与文本流中先前文档的相似性比较，从而具有更好的可扩展性并带来更快的执行时间。此外，随着文档集合随时间演变，我们使用时序变体的 IDF，不仅维持了对已见内容的高效表示，还使文档频率随时间推移而衰减。我们在为此任务创建的真实世界新闻文章数据集上评估了所提方法的性能。结果表明，所提方法优于所有基线，同时在时间复杂度和内存使用方面保持了高效运行，这在移动场景设置中至关重要。