FastLexRank:高效词典排序用于构建社交媒体帖子
计算与语言
2024-10-03 v1 统计计算
摘要
我们提出FastLexRank\footnote{https://github.com/LiMaoUM/FastLexRank},一种高效且可扩展的LexRank算法文本排序实现。旨在解决原始LexRank方法的计算和内存复杂度问题,FastLexRank将时间和内存需求从显著降低到,而不牺牲结果的质量或准确性。通过对句子图平稳分布的计算采用优化方法,FastLexRank在保持与原始LexRank分数相同的结果的同时,提高了计算效率。本文详细介绍了使大规模数据集(如社交媒体语料库)实现实时处理的算法改进。实证结果证明其有效性,我们提议用于识别中心推文,这些推文可进一步使用高级NLP技术进行分析。FastLexRank为文本中心度计算提供了可扩展解决方案,应对日益增长的数字内容的高效处理需求。
引用
@article{arxiv.2410.01183,
title = {FastLexRank: Efficient Lexical Ranking for Structuring Social Media Posts},
author = {Mao Li and Frederick Conrad and Johann Gagnon-Bartsch},
journal= {arXiv preprint arXiv:2410.01183},
year = {2024}
}