关于专家查找系统评估中的偏差

在大型组织中，识别特定主题的专家对于利用跨越团队和部门的内部知识至关重要。所谓企业专家检索系统会自动发现和结构化员工的专长，这些系统基于关于他们及其工作的大量异构数据。评估这些系统需要全面的专家标注ground truth，这些标注难以获得。因此，标注过程通常依赖于自动推荐的知识领域进行验证。本案例研究提供了分析这些推荐如何影响专家查找系统评估的方法。我们在一个流行的基准数据集上演示，系统验证的标注会导致传统基于词项的检索模型的性能被高估，甚至使与更近期神经方法的比较失效。我们还通过添加同义词来揭示了对其组成词字面提及的强烈偏差。最后，我们提出了防止这些有偏评估的标注过程约束，表明这仍然允许高效能的标注建议。这些发现应指导为专家查找创建或选择基准，以保证方法之间具有意义的比较。