生成式检索与多分级相关性
摘要
生成式检索代表了信息检索的一种新方法。它使用编码器-解码器架构直接生成相关文档标识符（docids）。虽然这种方法具有优势，但当前方法仅限于二元相关性数据，忽略了文档具有多分级相关性的潜力。将生成式检索扩展到多分级相关性场景面临挑战，包括需要协调 docid 对的似然概率，以及多个相关文档共享相同标识符的可能性。为此，我们引入一种名为 GR（GRaded Generative Retrieval）的框架。GR 关注两个关键组件：确保相关且独特的标识符，以及实施多分级受约束对比学习。首先，我们通过结合 docid 生成和自编码器模型，创建既语义相关又足够独特以有效表示单个文档的标识符。其次，我们纳入关于相关性等级之间关系的信息，以引导训练过程。我们使用受约束的对比学习策略，根据各自的相关性等级，将查询和其相关文档标识符的表示拉近。大量在具有多分级和二元相关性的数据集上的实验表明，GR 的有效性。
引用
@article{arxiv.2409.18407,
title = {The glue that binds us all -- Latin America and the Electron-Ion Collider},
author = {A. C. Aguilar and A. Bashir and J. J. Cobos-Martínez and A. Courtoy and B. El-Bennich and D. de Florian and T. Frederico and V. P. Gonçalves and M. Hentschinski and R. J. Hernández-Pinto and G. Krein and M. V. T. Machado and J. P. B. C. de Melo and W. de Paula and R. Sassot and F. E. Serna and L. Albino and I. Borsa and L. Cieri and I. M. Higuera-Angulo and J. Mazzitelli and Á. Miramontes and K. Raya and F. Salazar and G. Sborlini and P. Zurita},
journal= {arXiv preprint arXiv:2409.18407},
year = {2025}
}
备注
White Paper contribution to the Latin American Strategy Forum for Research Infrastructure (III LASF4RI). Updated version includes an extended discussion of the "Perspectives and Challenges" section and an additional section about "Current projects and future Latin American contributions to the EIC". Accepted for publication in Brazilian Journal of Physics