利用信息检索度量对专家排序的缓解方法

为了寻找专家，不同方法构建人的排名，假设他们按专业水平排序，并使用典型的信息检索（IR）度量来评估其有效性。然而，我们发现专家排名（i）往往偏序，（ii）不完整，且（iii）因此提供更多一种顺序而非绝对排名，而这并非通常 IR 度量所利用的。为改进此现状，我们提议修订 IR 中使用的形式体系以设计比较专家排名的恰当度量。在本报告中，我们通过为这三个问题提供缓解过程来调查第一步，并借助这些过程分析 IR 度量，以识别有趣的修订和剩余局限。从分析中，我们看到由于我们的缓解过程，大多数度量可被用于此更通用的语境。此外，基于精确率和召回率的度量通常无法考虑排序项的顺序，但若我们将排名表示为有序对集合，则它们成为首要关注。另一方面，累积度量专为考虑顺序而设计但受制于更高复杂度，这促使使用带正确表示的精确率/召回率度量。