专家排序的黄金标准：基于 XWiki 数据集的调查

我们正在设计一种自动化技术，用于查找并推荐专家以协助需求工程任务，这可以通过按专业水平对可用人员进行排序来实现。为了评估自动化技术所产生排序的正确性，我们希望将其与黄金标准进行比较。在这项工作中，我们邀请外部人员查看一组讨论并对其参与者进行排序，以评估这些排序作为黄金标准的可靠性。我们描述了该调查的设置与执行、根据受试者排序构建黄金标准的方法，以及为获取并验证该黄金标准而对结果进行的分析。通过对结果的分析，我们得出结论：尽管缺乏支持其完全正确性的证据，我们获得了一个合理的黄金标准。我们还做出了一个有趣的观察：最可靠的受试者构建了有序性最弱的排序（即具有较少的等级，每个等级包含多人），这与信息检索度量的通常假设相悖。