用于引文推荐模型评估与分析的基准

引文推荐系统已引起学术界广泛兴趣，催生了众多研究和实现。这些系统通过根据作者所写文本建议相关参考文献，帮助作者自动生成恰当的引文。然而，不同研究和实现中使用的引文推荐方法各不相同。一些方法侧重于论文的整体内容，而另一些则考虑引文文本的上下文。此外，这些研究中使用的数据集包含论文的不同方面，例如元数据、引文上下文，甚至各种格式和结构的论文全文。模型、数据集和评估指标的多样性使得有效评估和比较引文推荐方法变得困难。为解决此问题，需要标准化的数据集和评估指标来一致地评估这些模型。因此，我们建议开发一个专门设计用于分析和比较引文推荐模型的基准。该基准将评估模型在引文上下文不同特征上的性能，并对模型在所有任务中的表现提供全面评估，以标准化方式呈现结果。通过创建具有标准化评估指标的基准，引文推荐领域的研究人员和从业者将拥有一个评估和比较不同模型的通用平台。这将有助于进行有意义的比较，并帮助识别该领域进一步研究和发展的有前景的方法。