面向数字档案中推荐系统评估指标价值驱动协同设计的多元利益相关者方法

本文提出了首个多元利益相关者方法，用于将不同利益相关者的价值观转化为数字档案中推荐系统(RecSys)的评估指标设置。虽然商业平台主要依赖参与度指标，但文化遗产领域需要能够平衡档案管理员、平台所有者、研究人员和其他利益相关者之间竞争优先级的框架。为应对这一挑战，我们与上游、提供者、系统、消费者和下游利益相关者开展了高规格焦点小组(5组×5人)，识别了关键维度上的价值优先级：可见性/代表性、专业知识适应性和透明度/信任。我们的分析表明，利益相关者的关注点自然地与四个连续的研究漏斗阶段一致：发现、交互、整合和影响。由此产生的评估设置解决了领域特定的挑战，包括馆藏代表性不平衡、非线性研究模式以及专业知识和更广泛可及性之间的张力。我们为研究旅程的每个阶段提出了定制化指标的方向，例如用于发现的搜索路径质量、用于交互的上下文适当性、用于整合的元数据加权相关性以及用于影响评估的跨利益相关者价值对齐。我们的贡献超越了数字档案，惠及更广泛的RecSys社区，为那些价值通过持续参与而非即时消费产生的领域提供了可迁移的评估方法。