IR测试集合中时间变化的评估

信息检索系统已使用数十年的Cranfield范式进行评估。该范式允许在固定实验环境中对不同检索方法进行系统、公平且可重复的评估。然而，现实中的检索系统必须应对动态环境和随时间变化的因素，这些因素影响文档集合、主题趋势以及用户对相关性的感知。然而，IR评估中的时间维度仍未得到充分研究。为此，本文考察了如何评估有效性评估的时序可扩展性。作为概念模型，我们将Cranfield类型的实验推广到时序语境中，根据持久存储已知的CRUD操作将必需组件的变化类型进行分类。根据不同的变化类型，推导出不同的评估情景，并阐述了这些情景所暗示的含义。基于这些情景，对著名的状态-of-the-art检索系统进行测试，考察在不同粒度上检索有效性的变化。我们表明，提出的措施可以很好地适用于描述检索结果中的变化。所进行的实验确认，检索有效性强烈依赖于所研究的评估情景。我们发现，不仅是单个系统的平均检索性能，而且是系统之间的相对性能也严受所变更组件及其变更程度的影响。