面向列表级注释的众包排序聚合方法

众包排序聚合近年来在列表级排序注释方面获得了显著关注，但现有方法主要聚焦于单个问题和部分排序，而大量问题上的列表级完整排序聚合仍基本未被探索。这一情景在诸多应用中finding relevance，例如模型质量评估和基于人类反馈的强化学习。在实践需求下，我们提出LAC（Listwise rank Aggregation in Crowdsourcing，众包中的列表级排序聚合），其中仔细衡量并包含了全局位置信息。在我们的设计中，尤其提出的注释质量指示符用于衡量注释排序与真实排序之间的差异。我们还考虑了排序问题本身的难度，因为这直接影响注释者的表现，从而影响最终结果。鉴于目前尚无人直接处理众包中列表级完整排序聚合问题，并且同时推断问题难度、注释者能力以及真实排序的工作，我们确信LAC是首个相关工作。在评估我们的方法方面，我们收集了一个面向段落排序的真实世界商业数据集。在合成数据集和真实世界基准数据集上的实验结果表明，我们提出的LAC方法有效。