排序的共识度量
人工智能
2017-09-22 v2
摘要
排序是物品的有序序列，其中排序分数更高的物品比排序分数更低的物品更受偏好。在许多信息系统中，排序被广泛用于表示对一组物品或候选者的偏好。排序的共识度量是评估各排序之间一致程度的问题。共识度量可用于评估许多信息系统中的排序，因为往往没有可用的 ground truth 用于评估。本文引入了一种利用图表示的排序共识度量新方法，其中顶点或节点为物品，边为排序中物品间的关系。这种表示导出了针对不同排序方面的多种共识度量算法，包括公共模式的数量、固定长度的公共模式数量以及最长公共模式的长度。所提度量可适用于各类排序，如全排序、部分排序和带平局的排序。本文展示了所提方法如何用于评估排名聚合的质量以及来自Google和Bing搜索引擎的top-排序的质量。
引用
@article{arxiv.1704.08464,
title = {Consensus measure of rankings},
author = {Zhiwei Lin and Yi Li and Xiaolian Guo},
journal= {arXiv preprint arXiv:1704.08464},
year = {2017}
}