预训练与微调范式下的相关性排序建模
信息检索
2021-08-13 v1 计算与语言
摘要
近年来，诸如 BERT 等预训练语言模型已被应用于信息检索中的文档排序，其先在未标注的大规模语料上预训练通用语言模型，再在专家标注的相关性数据集上进行排序特定的微调。理想情况下，IR 系统应从用户—系统二元论的角度对相关性建模：用户视角与系统视角。用户视角基于“真实用户”的活动判断相关性，而系统视角关注来自系统侧的相关性信号，例如来自专家或算法等。受用户—系统相关性视角及预训练语言模型成功的启发，本文提出一种新颖的排序框架 Pre-Rank，在预训练与微调范式下同时考虑用户视角与系统视角。具体而言，为建模用户相关性视角，Pre-Rank 基于大规模用户活动数据（如点击日志）预训练初始的查询—文档表示。为建模系统相关性视角，Pre-Rank 进一步在专家标注的相关性数据上微调模型。更重要的是，预训练表示与手工设计的学习排序特征在宽深网络架构下共同微调。由此，Pre-Rank 可通过融合来自真实搜索用户与 IR 专家的相关知识与信号来建模相关性。为验证 Pre-Rank 的有效性，我们分别使用 BERT 与 SetRank 作为底层排序模型给出了两种实现。基于三个公开可用基准的实验结果表明，两种实现中 Pre-Rank 均能分别超越底层排序模型并达到 SOTA 性能。
引用
@article{arxiv.2108.05652,
title = {Modeling Relevance Ranking under the Pre-training and Fine-tuning Paradigm},
author = {Lin Bo and Liang Pang and Gang Wang and Jun Xu and XiuQiang He and Ji-Rong Wen},
journal= {arXiv preprint arXiv:2108.05652},
year = {2021}
}