LGDE:基于局部图的词典扩展
计算与语言
2025-08-29 v4 社会与信息网络
物理与社会
摘要
我们提出了基于局部图的词典扩展(LGDE),这是一种利用流形学习和网络科学工具,以数据驱动方式发现词语语义邻域的方法。LGDE的核心在于从词嵌入的几何结构出发构建词语相似度图,然后基于图扩散进行局部社区检测。局部图流形中的扩散允许探索词嵌入的复杂非线性几何结构,以捕捉基于语义关联路径的词相似性,而不仅仅是直接的成对相似性。利用这种语义邻域能够扩展预选关键词的词典,这是信息检索任务(如数据库查询和在线数据收集)中的一个重要步骤。我们在两个用户生成的英语语料库上验证了LGDE,并表明与基于直接词相似性或共现的方法相比,LGDE以更优的性能丰富了关键词列表。我们进一步通过一个来自传播学的真实世界用例展示了我们的方法,在该用例中,基于领域专家收集和分析的在线数据,对LGDE在扩展阴谋论相关词典方面的效果进行了定量评估。我们的实证结果和专家用户评估表明,由于基于流形学习的相似性网络,LGDE能够用更有用的关键词扩展种子词典。
引用
@article{arxiv.2405.07764,
title = {LGDE: Local Graph-based Dictionary Expansion},
author = {Juni Schindler and Sneha Jha and Xixuan Zhang and Kilian Buehling and Annett Heft and Mauricio Barahona},
journal= {arXiv preprint arXiv:2405.07764},
year = {2025}
}
备注
Python code available at: https://github.com/barahona-research-group/LGDE