Crystal:刻画学术论文引用的相对影响
数字图书馆
2026-04-24 v2 人工智能
计算与语言
计算机与社会
摘要
评估被引论文的影响通常仅在引用论文中独立的语境中进行分析,这会阻碍对其引用的所有作品进行相对比较。我们提出 Crystal,采用大语言模型(LLM)在引用论文中对所有被引论文进行联合排序。为缓解 LLM 的位置偏见,我们对每个列表进行三次随机顺序排序,并通过多数投票聚合影响标签。该联合方法利用完整的引用语境,而非独立评估引用,从而更可靠地区分具有影响力的参考文献。实验表明,Crystal 在人工标注引用数据集上比以前的领先影响分类器提高了9.5% 的准确度和8.3% 的 F1 分数。Crystal 还通过减少 LLM 调用次数实现了效率提升,并在开源模型中表现出竞争力,实现可扩展、高性价比的引用影响分析。我们公开了排名、影响标签和代码,以支持未来研究。
引用
@article{arxiv.2603.26791,
title = {Crystal: Characterizing Relative Impact of Scholarly Publications},
author = {Hannah Collison and Benjamin Van Durme and Daniel Khashabi},
journal= {arXiv preprint arXiv:2603.26791},
year = {2026}
}