RD-Suite：一种排序蒸馏基准
信息检索
2023-06-14 v2
摘要
排序模型的蒸馏已成为学术界与工业界的一个重要课题。近年来，人们提出了若干先进方法来解决该问题，常利用传统分类设定中缺失的来自教师排序器的排序信息。迄今为止，对于如何评估这类模型尚未建立共识。此外，在广泛任务与数据集上不一致的基准测试使得评估或推动该领域的进展变得困难。本文首先考察了排序蒸馏中具有代表性的已有工作，并提出了围绕方法与可复现性亟待回答的三个问题。为此，我们提出一个系统化且统一的基准——排序蒸馏套件（RD-Suite），它包含 4 个大型真实世界数据集的任务套件，涵盖两种主要模态（文本与数值）以及两类应用（标准蒸馏与蒸馏迁移）。RD-Suite 包含挑战该领域某些普遍认知的基准结果，并发布了带有教师打分的数据集及供未来研究的评估脚本。RD-Suite 为更好地理解排序蒸馏铺平了道路，促进了该方向的更多研究，并提出了新的挑战。
引用
@article{arxiv.2306.04455,
title = {RD-Suite: A Benchmark for Ranking Distillation},
author = {Zhen Qin and Rolf Jagerman and Rama Pasumarthi and Honglei Zhuang and He Zhang and Aijun Bai and Kai Hui and Le Yan and Xuanhui Wang},
journal= {arXiv preprint arXiv:2306.04455},
year = {2023}
}
备注
15 pages, 2 figures. arXiv admin note: text overlap with arXiv:2011.04006 by other authors