基于预训练 Graphformer 的 Web 规模搜索排序（扩展摘要）
机器学习
2024-09-26 v1 信息检索
摘要
Transformer 和图神经网络（GNNs）均已被应用于学习排序（LTR）领域。然而，这些方法遵循两种不同但互补的问题表述：分别基于查询-网页对的排序分数回归，以及查询-网页二部图内的链路预测。虽然可以在源数据集上预训练 GNNs 或 Transformers，随后在标注稀疏的 LTR 数据集上对其进行微调，但基于对的领域与二部图领域之间的分布偏移，将这些异构模型集成到 Web 规模的统一 LTR 框架中带来了重大挑战。为了解决这一问题，我们引入了新颖的 MPGraf 模型，该模型利用模块化和基于胶囊（capsule）的预训练策略，旨在将 Transformer 的回归能力与 GNNs 的链路预测优势有机结合。我们进行了广泛的离线和在线实验，以严格评估 MPGraf 的性能。
引用
@article{arxiv.2409.16590,
title = {Pre-trained Graphformer-based Ranking at Web-scale Search (Extended Abstract)},
author = {Yuchen Li and Haoyi Xiong and Linghe Kong and Zeyi Sun and Hongyang Chen and Shuaiqiang Wang and Dawei Yin},
journal= {arXiv preprint arXiv:2409.16590},
year = {2024}
}