中文

FastLexRank:高效词典排序用于构建社交媒体帖子

计算与语言 2024-10-03 v1 统计计算

摘要

我们提出FastLexRank\footnote{https://github.com/LiMaoUM/FastLexRank},一种高效且可扩展的LexRank算法文本排序实现。旨在解决原始LexRank方法的计算和内存复杂度问题,FastLexRank将时间和内存需求从O(n2)\mathcal{O}(n^2)显著降低到O(n)\mathcal{O}(n),而不牺牲结果的质量或准确性。通过对句子图平稳分布的计算采用优化方法,FastLexRank在保持与原始LexRank分数相同的结果的同时,提高了计算效率。本文详细介绍了使大规模数据集(如社交媒体语料库)实现实时处理的算法改进。实证结果证明其有效性,我们提议用于识别中心推文,这些推文可进一步使用高级NLP技术进行分析。FastLexRank为文本中心度计算提供了可扩展解决方案,应对日益增长的数字内容的高效处理需求。

关键词

引用

@article{arxiv.2410.01183,
  title  = {FastLexRank: Efficient Lexical Ranking for Structuring Social Media Posts},
  author = {Mao Li and Frederick Conrad and Johann Gagnon-Bartsch},
  journal= {arXiv preprint arXiv:2410.01183},
  year   = {2024}
}